蔚山战役结束后，整个蔚山倭城（岛山城及周围日式工事）全部回到日军手中。一月五日早上，日军举行军事会议，讨论是否追击撤退到庆州的明军。但黑田长政、锅岛直茂两人借口担心本据点安危，先行离开了。最后，日军诸将以粮食匮乏、损兵折将为由，放弃了追击。（《日本战史·朝鲜役》）
会议结束后，日军派出几组大的侦察队，搜索明军是否仍然在附近出没，但没有发现任何影子。于是，日军决定将守备西生浦的加藤军调至蔚山倭城，又将在蔚山倭城苦苦坚守的加藤军调到西生浦修养。一月六日，救援蔚山倭城的各路日本援军，全都撤回到了各自的驻地。但加藤清正担心明军还会再度袭来，便请毛利秀元帮忙修补蔚山倭城。（《萩藩阀阅录》《吉川文书》《清正记》）
待在日本本土的丰臣秀吉收到蔚山倭城被围的消息后，本打算亲自渡海赴援，便命令毛利辉元、增田长盛、本田因幡守、多贺出云守、宇多下野守、北川左马助、九鬼嘉隆等先行渡海前往朝鲜；但在收到日军获胜的捷报后，他便停止了亲自出兵朝鲜的计划。（《义演准后日记》《黑田家文书》《高山公实录》）由于加藤清正不能同时守备蔚山倭城、西生浦城，丰臣秀吉便免去了加藤清正守备西生浦城的职责。
另一方面，明军撤退到庆州以后，杨镐担心日军继续追击，便命茅国器、卢得功二将驻守星州，麻贵驻守安东，又命李芳春、牛伯英二将进驻全罗道南原，他自己则率领其余部队返回王京。
此时，部分明军变得难以约束，将卒多不检点，开始到处生事。驻扎安东的宣大兵马和提督麻贵麾下的蒙古兵，军纪尤其败坏，他们以向朝鲜人索取马草为名，到处掳掠街巷中的财产。这其中，施暴最严重的是杨登山的部队。朝鲜史料《宋经略书》记载道：“（杨登山）不戢军卒，随麻贵在安东，标下马兵散抢民间，人甚苦之。”因为这部分明军的暴行，远近的朝鲜居民对明军是闻风而逃。
杨镐获悉情况后，派遣通事、旗手捉拿了惹是生非的五六名骑兵，并杀死了其中一人，将其尸首遍传军中，警告北兵不得违反军纪。但也有明军将领保持了极高的军纪，比如李芳春，他“禁侵扰，劝耕种，广屯田，剿游贼，修官舍，葺房屋，敛尸骸”，驭军严整，赏罚分明。
对于蔚山战役的结果，明人诸葛元声在《两朝平攘录》中认为：“是役也，谋之经年，已倾海内全力，合朝鲜通国之众，而卒无成功，贻笑远人，可慨已。”但是，这一种评价是极为片面的。
日军看似在蔚山战役中获胜，但此战对日军造成了极大的心理震慑作用。明人徐希震的《东征记》记载，蔚山战役结束后，“中路石曼子、西路行长各退五百里，移兵上船，作去鱿计”。也就是说，蔚山战役对远在西路的小西行长、中路的岛津义弘产生了很大的威慑，吓得他们各自从原据点退兵，想要直接撤回日本国内。
《东征记》的这一记载可以得到朝鲜史料《宣祖昭敬大王实录》、日本史料《岛津国史》的佐证。《宣祖昭敬大王实录》记载，在顺天倭城的小西行长已经准备好了退路，他将大量物资装在船上，想要逃走，“曳桥之贼，卜物载船，蔽塞海口……大概曳桥之贼，太半渡海，卜船络绎，似非久留之计”。同时，小西行长的女婿宗义智，已经在南海岛将全部物资装载到船上，准备逃走，“不为筑城固守之计，只治战船。所收军粮，尽为载船矣”。又据《岛津国史》记载，蔚山战役结束后，岛津义弘听说明军将出动百万大军，遂下令晋州城的岛津军守将三原重种、蓑轮治右卫门撤退到后方的泗川。从以上记载来看，蔚山战役对日军造成的冲击是非常巨大的。
再来看日本史料《毛利秀元记》。该书称，蔚山战役结束之后，朝鲜的日本诸将认为难以再承受明军的攻击，最前线的几个日据城池肯定守不住了，因此想要舍弃掉它们，退守至朝鲜沿海地带。随后，日军诸将集结在庆尚道的安骨浦举行军事会议，最后确定了在朝鲜全面收缩战线的方针。军议结束后，他们派遣使者渡海，送信给丰臣秀吉。在信中，日军诸将向丰臣秀吉提出了撤守全罗道顺天、庆尚道蔚山的议案，希望得到他的允许。顺天是当时日军在朝鲜西部最前沿的据点，蔚山则是日军在朝鲜东部最前沿的据点。侵朝日军虽然取得了蔚山战役的胜利，却认为保不住最前线的蔚山和顺天，因此建议弃守加藤清正负责防守的蔚山，后撤至西生浦；弃守小西行长负责防守的顺天，后撤至熊川。除去毛利秀元、加藤嘉明两人表示反对以外，其余人都同意收缩战线，弃守顺天和蔚山。[12]
一月二十一日，丰臣秀吉收到信件，他读完后，对这一提案非常不满，大为恼怒。在写给毛利秀元的回信中，他直斥撤守蔚山、顺天的提案是胆小、怯懦之举，同时又表扬了坚持不撤的毛利秀元和加藤嘉明。（《毛利家记》《关原合战与近世的国制》）
虽然遭到丰臣秀吉的拒绝，但是在朝日军并没有放弃这一诉求，准备再次向丰臣秀吉提出战线收缩议案。这一次上诉，连先前反对这一提案的毛利秀元也表示赞同。同月二十六日，宇喜多秀家、毛利秀元、蜂须贺家政、生驹一正、藤堂高虎、胁坂安治、菅三郎兵卫尉、松岛彦右卫门尉、菅右卫门八、山口宗永、中川秀成、池田秀雄、长宗我部元亲这十三位侵朝武将，将联名签署的联署状寄给石田三成、长束正家、增田长盛、前田玄以，通过他们将收缩战线的意见转告给丰臣秀吉。宇喜多秀家等人认为“蔚山、顺天、梁山，斗出敌地，难以守御”（《旧记杂录后编》），对日军当前的局势非常不利。在联署状中，他们向石田三成、长束正家、增田长盛、前田玄以陈述道：
此国经理，去年进剿全罗时，与诸将会议，郡县略定，镇戍及修筑之人既如所启。至筑处，其后巡行度地而修筑焉。而明遽以攻蔚山也，事暂止焉，乃会议镇戍分配，从众口，欲更定如下：
一、蔚山者，虑地面逼敌，且隔江而险道也，以后可危焉。因定欲令清正如前日屯西生浦，修筑则分秀元五千兵役之。
二、顺天者，山水隔远，道路艰难，且城外海浅，不可行舟。临事救援，海陆共不便。因移守行长于泗川、岛津义弘于固城矣。而已撤顺天，则南海岛为无用之戍，因只存唐岛垒，而令对马守义智留守焉。然义智不肯之，岛津氏谓任先锋之所望耳，是当待殿下之断也。
三、顺天、蔚山，今所议如此，共为无要之所，因待命而暂止修缮焉。而固城者，令秀家、高虎修之，毛利胜信（毛利吉成）戍之。
四、梁山者，地形恶，与釜山通，路险难。临事大兵不利往来，因移镇于熊川[13]。熊川者，诸寨之道路，而有巨川为泊津，不可不无一寨。令秀元修筑焉，长政镇戍之。今作诸寨地理之一图以献之，愿赐熟览，谨俟其命。（《朝鲜役录》）
这套议案的中心思想是：加藤清正放弃蔚山，后撤至西生浦；小西行长放弃顺天，后撤至泗川，顺天弃置后，靠近顺天的南海岛也应弃守；岛津义弘从泗川转移至固城；驻守梁山的将士放弃这一极其难守的阵地，后撤至龟浦。在这套议案中，宇喜多秀家等人计划放弃庆尚道最前线的蔚山、梁山，以及全罗道仅剩的顺天与靠近顺天的庆尚道南海岛，全面撤退至朝鲜庆尚道南部沿海地带。除了上一次提出放弃的蔚山、顺天外，此次又额外提出放弃梁山、南海岛，可见，在蔚山战役中遭受重创后，侵朝日军势头大减。换句话说，明军通过蔚山战役，事实上打崩了日军的防线。这道防线，既是日军战略布局上的防线，也是日军心理上的防线。
值得注意的是，小西行长、宗义智、岛津义弘、加藤清正、黑田长政均没有在这封联署状上签字。这几位驻守的地方，都是联署状中提出要弃守的据点，如此重要的事情，居然缺乏当事人的一致签字同意，这一现象很值得留意。非常有可能的是，当时几乎所有侵朝大将都同意收缩战线，包括没有在联署状上签名的小西行长、宗义智、岛津义弘、加藤清正、黑田长政等当事人。他们是这些被提议弃守的城池的守将，理应避嫌，所以没有在联署状上签名。
丰臣秀吉再次收到战线收缩的提案后，非常不悦，他在三月十三日回信说：
审来意，欲撤蔚山、梁山、顺天三城。不先取旨，而忽有陈请，甚无谓也。往年朝鲜因沈游击（沈惟敬）谢罪，虑将士劳苦，故使退据沿海城砦，厚蓄其力，两三年一出兵焚掠。至于后役，禀请守备事宜，其地未尝目击，故使随宜措置。今察其所为，初乘敌弱，广设区域，忽复减黜，欲弃前功。夫杨镐之攻蔚山，合明、韩二国之兵，攻堑垒浅单、粮仗竭乏之孤城，犹且不能克，自溃而走。以我兵之勇，当乌集瓦合之众，正当飙驰电击，以歼灭之。今乃致其逃逸，且欲弃守自退，何其萎靡不振之甚也！深湟高垒，以严防备，将士之任也。至于军中所须，粮食兵仗，照数支给，既已发送，又有功将士，皆沾厚赏。然则出力守城，岂得不自任？守备既固，将士自任，一二城砦何难保之有？其梁山城，存之无益于势，撤而徙于加德[14]其可也。（《旧记杂录后编》）
丰臣秀吉对宇喜多秀家等人提出的战线收缩议案非常不满，认为在朝日军不仅没能对明军穷追猛打、将其歼灭，反而欲弃守自退，实在是自灭威风。秀吉还认为，将士守城是本分，保得一二城砦并没有什么太大困难。但面对朝鲜战场的不顺利，他多少还是有所动摇，最终同意了撤守梁山一城，将该城驻军徙至后方的“加德”（龟浦）。
丰臣秀吉派往朝鲜的军监们，对战线收缩议案也有不同意见。早川长政、竹中重利、毛利高政三名军监同意收缩战线，但福原长尧、垣见一直、熊谷直盛三名军监并不同意。后三人回到日本后，向丰臣秀吉状告黑田长政、蜂须贺家政在救援蔚山时怯战，并且早川、竹中、毛利三名军监已同意收缩战线。丰臣秀吉为此赫然震怒，决定没收蜂须贺在阿波国的封地，以及早川、竹中、毛利三人在丰后国的6万石封地。而黑田长政也被罚没收部分封地，甚至就连加藤清正、藤堂高虎二人也遭到了丰臣秀吉的惩罚。（《看羊录》）其中，早川等三名军监被剥夺的6万石封地，被丰臣秀吉转赐给了福原、垣见、熊谷三名军监，作为褒赏。此外，由于大名加藤嘉明也始终不同意收缩战线，并且没在联署状上签字，丰臣秀吉决定加封他37100石封地，以示激励。
然而，日军已经是强弩之末了。同意弃守梁山城两个月后的五月二十二日，丰臣秀吉亲自写信，指示部下立即弃守龟浦城，黑田长政转移至西生浦城，毛利吉成转移至釜山城，寺泽正成转移至釜山城的子城丸山城。（《锅岛家文书》）可见，秀吉本人此时也对侵朝战争灰心丧气，完全丧失了当初那种狂妄。
这还不止，大受动摇的丰臣秀吉，又下令将侵朝大将小早川秀秋、宇喜多秀家、毛利秀元召回日本国内，直接撤回一半侵朝军队，只剩下6万余名日军留在朝鲜。（《义弘公御谱中》）继续留守在朝鲜沿海的，只剩下加藤清正、小西行长、岛津义弘、宗义智、黑田长政等主要侵朝将领。
据《日本战史·朝鲜役》记载，残留在朝鲜的日军及兵力如下：
驻守地 守城将领 兵力 蔚山城 加藤清正 约10000人 西生浦城 黑田长政 约5000人 釜山城 毛利吉成、岛津丰久、相良赖房、伊东祐兵、高桥元种、秋月种长 约5000人 釜山子城丸山城 寺泽正成 约1000人 竹岛城、昌原城 锅岛直茂、锅岛胜茂 约12000人 巨济岛 柳川调信 不详 固城 立花宗茂、小早川秀包、高桥统增、筑紫广门 约7000人 泗川城 岛津义弘 约10000人 南海城 宗义智 约1000人 顺天城 小西行长、松浦镇信、有马晴信、大村喜前、五岛玄雅 约13700人 合计 — 约64700人另据《宣祖昭敬大王实录》估计，残留在朝鲜的日军各部队及兵力为：
驻守地 守城将领 兵力 蔚山郡 加藤清正 10000余人 梁山郡 黑田长政 四五千人 金海府 锅岛直茂 10000余人 德只岛 不详 四五千人 固城县 不详 六七千人 巨济县 不详 四五百人 晋州 不详 400余人 永新县 不详 2000余人 泗川县 不详 七八千人或10000人 昆阳郡 不详 300余人 南海县 宗义智、柳川调信 1000余人 昌原府 不详 不详 熊川县 丰茂守 不详 顺天府 小西行长 约15000人但《宣祖昭敬大王实录》的记载并不完全正确，例如梁山城在当时已经被日军弃守。蔚山战役后，丰臣秀吉不仅弃守了梁山、龟浦城，还撤回了一半侵朝军队，召回了小早川秀秋、毛利秀元、宇喜多秀家三名侵朝大将。如此大规模的退缩，可见丰臣秀吉虽然表面上仍然嘴硬，但心态早已发生了剧烈变化，他意识到日军在朝鲜已经支撑不了太长时间。
被俘虏至日本的朝鲜儒学者姜沆，在所著的《看羊录》里记载了丰臣秀吉撤回一半侵朝日军后，与德川家康等人的谈话记录，透露出丰臣秀吉此时已经有与朝鲜议和、从朝鲜撤兵的想法：
贼魁（丰臣秀吉）尽属其诸将，而告之曰：“朝鲜之事，迄未结末，何也？”
（德川）家康等皆曰：“朝鲜大国也，冲东则守西，击左则聚右。纵使十年为限，了事无期。”
贼魁泣曰：“公等以我为老矣，我之初志，以天下为无难事。今老矣，死亡无几矣，与朝鲜休兵议和如何？”
其下皆曰：“幸甚。”
可见，蔚山战役虽然在战术上是日军获胜、明军被迫撤退，但从战略角度来看，日军不但没能因为此战取得优势，反而有一路崩溃之势。无论是侵朝日军大将，还是待在日本本土的丰臣秀吉，蔚山战役都给他们造成了巨大的心理打击。事实上，这也暴露了日本战国军队远离本土作战时无法持久的弱点。可见日本战国军队总体上是很虚弱的，即使明朝军队打了败仗，日军也只能被动地收缩战线，仅能保得朝鲜沿海的几座倭城。
类似的情况，早在日军初次登陆朝鲜的万历二十年就发生过一次。那一年七月，第一批入朝明军攻打平壤城，结果败给了小西行长，明军退走，是为第一次平壤之战。结果在八月上旬召开的王京军议中，日军诸将对明军可能再度出兵朝鲜表现出畏惧，提出了全面撤守釜山浦的议案。小西行长更是在第一次平壤之战结束后，通过他弟弟传信，向丰臣秀吉劝谏说大明不可侵犯。在明军刚打了败仗、后续援军还未大举出动的前提下，日军就已表现出了退缩姿态。
历史总是惊人的相似。第一次平壤之战和蔚山战役的结果都是明军败走，但作为胜利者的日军反而不敢穷追猛打，而是急迫地要往后撤。这些情况，真实地说明了日本战国军队极度脆弱。
不过，正是由于丰臣秀吉没有全部接受侵朝日军大将的战线收缩议案，驳回了撤守蔚山、顺天的提议，才阴差阳错地让明军不敢对日军太过大意，认为日军大势依旧，仍能与明军相持很长时间。正如海防备边参议梁祖龄对经理杨镐所说：“照今倭奴蔚山之败，虽遭大挫，而行长、清正等酋尚雄踞全庆，负山依海，联络坚城，以缓局老我。”（《经略御倭奏议》）于是，在明、日双方相互对对方实力存在误判的情况下，对峙局面仍在继续。杨镐做出分兵计划，将明军兵力配置在全罗道、庆尚道之间，与退据沿海地区的日军相持，具体部署如下：
庆尚道驻兵 驻守地 驻守将领 兵力 安东 原任参将杨登山 1200人 安东 大同游击摆赛 2500人 安东 真定都司薛虎臣 3000人 永川、新宁 南兵副总兵吴惟忠 3900人 永川、新宁 延绥参将王国栋 2000人 义城 游击陈蚕 2100人 义城 游击陈寅 4000人 义兴 宣府游击颇贵 2500人 义兴 原任副总兵解生 无兵马，随颇贵暂驻 醴川 遵化右营游击陈愚闻 1500人 迎日、长鬐 福建游击许国威 1180人 善山 副总兵李如梅、原任游击涂宽、郝三聘 3000人 善山 浙兵游击叶邦荣 1600人 星州、高灵之间 原任游击卢得功、安本立 2500人 星州、高灵之间 浙兵游击茅国器 3900人 尚州 原任副总兵李宁 2800人二月十四日，加藤清正受蔚山战役打击，派遣两个名为“舍生门”“乐信大”的使者向明军投递信件，称因为“持久累年，军兵疲困”（《宣祖昭敬大王实录》），愿意与明朝、朝鲜进行议和，实现三国太平。信中又称，如果明军愿意和谈，会议可以在明军所在的庆州举行，也可以在清正所在的蔚山举行。在信中，加藤清正不但交代了丰臣秀吉发起第二次侵朝战争的理由，还罗列了此后与明朝达成的和谈条件，但他用词非常狂妄，不能为明军接受。
该信的大致内容是：“七年前征伐朝鲜时，两位朝鲜王子为我所擒。当时沈惟敬依照大明的命令，要求我们罢兵、释放王子，承诺我们只要应允这两个条件，则‘万般之事可依照太阁殿下之命令’。依照这一承诺，即便朝鲜王子按理不可赦还，但我们还是依照大明的要求予以释放。在此之后，大明和日本一共商讨了五个议和条件：第一，割分朝鲜土地给日本；第二，让一位朝鲜王子渡海到日本谢恩；第三，大明皇帝将公主嫁给日本天皇；第四，朝鲜大臣向日本提交誓书并保证永不背叛日本；第五，大明每年送金银米谷给日本，恢复两国贡市。但是这五个条件最后没有一个得到兑现，这让太阁非常愤怒。所以在丙申年（万历二十四年）九月，日本送信于大明，质问究竟是大明欺骗了太阁，还是朝鲜欺骗了太阁。如果是朝鲜从中作梗，就要动兵征伐。太阁在信中还提到，次年三月之前可等候大明回音，但是大明迟迟没有回应。由于未能满足太阁殿下提出的五个条件，日本因此在丁酉年（万历二十五年）再次发兵征伐朝鲜，南原之战也是事出此因。只要大明能够满足这五个条件，就能与日本议和。若大明将来还想与日本议和，这五个条件至关重要。这五个条件，六年前徐一贯、谢用梓两名明使渡海来到日本的时候，太阁殿下就已经明确向他们提出了。那么这五个条件究竟有没有传递给大明呢？”（《经略御倭奏议》）
加藤清正的这封信，由于用语不敬，彻底激怒了经略邢玠，他“不觉怒发上指，恨不得一时尽啖狂酋与和党之肉”，将日本使者拘禁了起来。
四月八日，明军在庆州擒获了一名从日军阵营中出逃的日本人。据此人供称，他原来是在日军中进行买卖的商人，但与其他人关系不好，就出逃到了明军中。又说，加藤清正急着与明军议和，如果此事能成，清正自称将回到日本向关白禀告，只留一将于釜山浦，其余日军尽皆撤回日本本土。（《宣祖昭敬大王实录》）从这一供词来看，加藤清正的要价已经大为削减，但明军依然没有予以理睬。
与加藤清正一样，小西行长派出要时罗到明军阵营中议和，结果要时罗也被邢玠给囚禁了起来。邢玠之所以这么做，是因为他担心“一通往来，恐我未必得倭之情，倭反先得我之情”（《经略御倭奏议》）。