随着东营、东部洞（城隍堂、伴鸥亭）、西部洞、太和江寨被明军相继攻陷，失去蔚山倭城外围工事的日军只能躲进岛山城死守。朝鲜国王曾询问臣僚，岛山城与朝鲜城池相比如何，大臣回答说朝鲜城池在岛山城面前不足称道。（《宣祖昭敬大王实录》）从这一记载来看，岛山城是座险峻难攻的坚城。
此时驻守岛山城的日军兵力，有多种说法。《大河内秀元朝鲜记》记载，守军超过23000人；吉川家的史料《吉川家谱》，黑田家的史料《黑田家谱》《黑田记略》，毛利家的史料《毛利秀元记》《安西军策》，岛津家的史料《西藩烈士干城录》，皆称城内兵力为20000余人；《蔚山合战图》标记出的数据是日军各部超过17000人；《清正公行状》记载为13000人；《清正高丽阵觉书》记载，日军据岛山城御敌时兵力为10000人；《南藤蔓绵录》记载加藤部、太田部及浪人部队（阿苏大夫）合计10000人；《下川文书》收录的《庆长二年十二月一日加藤清正宛丰臣秀吉朱印状》记载，仅毛利秀元部便有10000人。
关于日军的防御部署，根据《日本战史·朝鲜役》的记载，罗列如下：
防御方向 负责武将 本丸东侧 太田一吉 本丸南侧 浅野幸长 本丸西侧 加藤安政 二之丸 加藤清正、宍户元续、桂孙六 三之丸 加藤与左卫门、近藤四郎右卫门、口羽元良、和知元盛、日野元重、吉见广行 二之丸与三之丸中间 美浓部金大夫喜八、九鬼广隆二十四日，日军逃往岛山城后，明军紧追不舍。杨镐、麻贵在鹤城山督战，“诸军齐奋薄城”；副总兵李如梅挥军朝岛山方向追杀，沿途扫荡，“土窟、铺幕，一时尽焚，斩级不知其数”。（《宣祖昭敬大王实录》）
由于李如梅直捣岛山城，城内的日军岌岌可危。对于明军在这一阶段运用的武器和战术，日本史料留下了较为详细的记录。据《松井物语》记载，明朝、朝鲜联军用一个巨大的钩子勾住外城墙，然后命50人～100人用力拖拉钢丝，将部分城墙拉倒。明军以此为突破口，试图攀上城墙。日军使用铁炮拼死阻止明军入城，但穿着铠甲的明朝、朝鲜骑兵与没有穿铠甲、负责射箭的步兵源源不断，日军应付起来非常吃力。
日军在这一天的遭遇，从军僧侣庆念在《朝鲜日日记》中记录道：
天亮之后，不知有多少人在城中遇难，到处都在作战，分辨不出哪里是山谷，哪里是田野。太田一吉大人固守主城，浅野幸长在正门部署。石墙下被射入火箭，宍户、太田、浅野的物品、财宝全部被烧。烟雾熏得人们睁不开眼，也张不开嘴。火势很快蔓延到城中，数千名劳工、武士被火烧死。明军爬上城墙，强行闯入城内。此时我能说的只有一句：“如果今天就是忌日，我愿笑着迎接死亡。”
从庆念的日记来看，当时岛山城内的日军几乎无路可逃。因明军攻势迅猛，朝鲜国王李昖派出的经理接伴使李德馨向杨镐称谢，杨镐笑着说道：“此是小捷，看我剿灭西生、釜山之贼，可言其喜。”（《再造藩邦志》）杨镐所说的西生浦、釜山浦，都是日军在朝鲜的边陲据点，攻克两巢后，日军将彻底退出朝鲜。杨镐的这一番话，足以体现他这时候的意气风发、胜券在握。
然而，接下来的攻势却并不顺利。岛山城“土窟重重，石筑艰险无比”，“甚为坚固”，“形势险绝”，“城之坚固，固无比也。且因断山，筑城极巧，真平地之一山城也”，是一座难以攻克的要塞；而明军却在攻破蔚山倭城的外围工事以后，对日军变得轻蔑起来，许多将士干脆丢弃自己的器械，赤手空拳地跑到岛山城下。（《宣祖昭敬大王实录》）200余名明军士兵率先登上岛山城，与日军厮杀起来。不料后面的明军接到上头的指示，暂时停止攻城，使得这200余人得不到接应，未能挣脱，就此丧命。
明军暂停进攻的原因，《明神宗实录》《明史·杨镐传》称，游击陈寅马上就要攻破岛山城，但杨镐出于私心，想将功劳让给与他关系亲厚的李如梅。因李如梅未至，杨镐又不想让功劳被陈寅夺走，所以鸣金收兵，结果让日军有时间固守城池，使明军错失了攻克岛山城的最佳时机。
但是以上说法有误，因为冲在最前面的就是李如梅，而不是陈寅。根据《宣祖昭敬大王实录》的记载，李如梅在战后愤愤不平地对朝鲜国王李昖倾诉：“二十四日再攻之际，为在上之人所制而退军。”按《明史·杨镐传》的说法，杨镐与李如梅关系亲厚，想让他独揽功劳，那么自然不会阻碍他进兵。因此，这位“在上之人”绝非经理杨镐，应是提督麻贵。
明军监军陈效战后也说：“岛山破城时，李副总兵如梅督兵二百余名，已入内城，几擒清正，麻嫌李专擒清之功，勒令回兵，并令他兵不为继进。以致先入二百余名，为贼所杀，清贼失捕。”（《宣祖昭敬大王实录》）所以实情应该是麻贵不愿李如梅独享破城之功，所以勒令其退兵，而非杨镐勒令陈寅退兵。
麻贵勒令李如梅暂停攻势后，明军停止攻城，日军则加强岛山城的防御，并利用岛山高耸险峻的地势，居高临下地对山城下的明军左、右两协施放铁炮，使其难以逼近。
午后，受命堵截釜山日本援军的明军中协，全部被调来攻打岛山城。（《宣祖昭敬大王实录》）明军为了赢得战场主动权，用大炮轰击岛山城，但岛山城“山坂峻高，炮石有碍”，山下的明军大炮根本无法击中目标。普通大炮不行，明军就换用虎蹲炮、霹雳炮等轰击岛山城，但岛山城高高耸立，明军无论换用什么类型的火器，都打不中目标。（《宣祖昭敬大王实录》）然而，日军的铁炮却可以击中山下试图接近岛山城的明军，在这一艰难环境下，明军打了一整天，苦无进展，不得不停止攻城，稍稍后撤。城内日军见此，浅野、太田、加藤等部相继杀出，朝滞后的明军发起进攻，使得明军多人战死。太田部得首级7颗，浅野、加藤两部各得1颗。加藤清正又令加藤安政继续朝山下突击，直至杀出岛山城大门，确认明军已退后方才回城。（《浅野家文书》）
为了避免被岛山城内的日军铁炮击中，明军只能在铁炮打不到的地方布阵，并对先前的部署做了一番改动。经理杨镐、提督麻贵继续屯兵岛山城北的鹤城山；调中协大将高策屯兵岛山城东，副总兵吴惟忠屯兵岛山城南，改由中协副总兵祖承训、游击颇贵堵截釜山日军；右协大将李芳春屯兵岛山城西；左协大将李如梅、大同游击摆赛，与2000浙江骑兵、1000浙江步兵屯兵太和江边，堵截自西生浦走海路北上的日本水军。（《宣祖昭敬大王实录》）
由于久攻不下，中协大将高策派人禀告杨镐，要求合兵攻城，但杨镐发了脾气，生气地说：“无大将令，而敢来相扰耶？”他命人把这名使者的耳朵割下，送回给高策。中协副总兵吴惟忠埋怨杨镐没有及早攻城，派人对他说：“当及今日未备之时，急攻之，则可即下也。”（《宣祖昭敬大王实录》《宋经略书》）杨镐同样让人把这名使者的耳朵割了下来。吴惟忠再派别的使者过来，杨镐依然这般对付。
同日，西生浦的日军（加藤清正部）从水路来救岛山城。明军游击陈寅指挥明军用大炮朝日军船只轰击，连续撞破3艘舰船后将日军船队击退，绝了日军登陆之念。（《宣祖昭敬大王实录》）当天晚上，太田一吉麾下的田中小左向加藤清正请示，希望能出城夜袭明军。加藤清正同意了这一请求，田中小左随即率领50骑潜出岛山城外。但是出城后，他才发现明军守备严密，根本没有机会袭击，只好返回了岛山城。（《大河内秀元朝鲜记》）
在二十三日、二十四日两天的连续交战中，日军在明军凌厉的攻势下，伤亡惨重。根据明朝史料记载，日军第一天被斩首440余级，第二天被斩首661级。（《明神宗实录》）而在日本史料中，甚至还有被烧死数千人（《朝鲜日日记》）、战死18360余人（《大河内秀元朝鲜记》）的说法。而明军在两日之内，阵亡了麻来、周道继两名千总，他们都是被日军铁炮击中而死的。（《宣祖昭敬大王实录》）
十二月二十五日早上，杨镐、麻贵使明军南兵、朝鲜兵杀在最前面，再次进攻岛山城。加藤清正身穿绿衣、手持白旗，亲自督战。（《再造藩邦志》）他不仅命令日军用铁炮攒射城外明、朝联军，还和浅野幸长一起上阵，用铁炮作战。负责镇守岛山城西面的加藤清正部将加藤安之（加藤安政之子），随身带着2挺铁炮，身边还有4名随从负责给他装配弹药。一日之间，仅加藤安之一人就连续放铁炮280多次（《本山丰前守父子战功觉书》），可见日军火力之猛。岛山城下“铁丸如雨，人不得接足”（《宣祖昭敬大王实录》），攻城的明朝、朝鲜联军“一到城下，被贼齐用鸟铳、火炮、弓矢、擂石拒堵”（《两朝平攘录》），再加上“城甚坚险，大炮不能撞破”（《宣祖昭敬大王实录》），付出了极为惨重的伤亡代价。左协的南兵游击陈寅奋勇先登，在岛山城西门被日军铁炮打中牙齿，但他仍然奋战不退，结果右腿中弹，血流不止，只能被轿子抬回王京，麾下士卒多有伤亡。在日军的铁炮打击下，明军伤亡加剧，真定营中军张应元冲锋在前，连发五箭、射杀三倭，结果被日军铁炮合击，枪弹入脑而亡。朝鲜军也多有死伤，庆尚左道兵马虞侯权应心、庆州义将金应泽、安东义将边仲一、青松义将沈清躳皆被铁炮射杀。各营官兵从左、右两个方向齐进，但皆受阻于日军铁炮不得不退却。这一天，明军官兵阵亡200余人，负伤1000余人。（《宣祖昭敬大王实录》）杨镐、麻贵非常愤怒，但是强攻不下，只得鸣金收兵。
根据明军在交战中生擒的4名日本兵，以及从岛山城逃了出来的朝鲜女人、孩子提供的消息，岛山城内的粮食、饮水都将用尽，恐怕支撑不了多久。明军根据这一消息，准备对岛山城进行长时间的围城，以待城内日军自毙。明军认为，日军缺粮少水，而己方粮饷充足，不必担心后勤问题，岛山城陷落是迟早之事。但另一方面，明军又很担心日本援军从多个方向袭来，使岛山城内的日军逃向西生浦。有降倭向杨镐出主意，建议他多准备干木柴，堆积在岛山城下，一把火烧了岛山城。杨镐采纳了这一提议，他召见朝鲜经理接伴使李德馨，告诉他准备在次日实施这一计划。
在这一天的攻城战中，明军遇到了极大的挫折，士气大减。比起前几日的势如破竹，明军已经显现出了颓势。
同日，西生浦的日军水路援军再次出动，杨镐调遣中协大将高策、中协副总兵祖承训前往江边堵截。（《宣祖昭敬大王实录》）
十二月二十六日早上，西生浦的日本援军有所行动，他们先是将船只泊于蓝江，之后乘船迫近太和江，试图登陆岛山。杨镐担心明军在陆上酣战之际，日本水军悄悄登陆，让明军腹背受敌，因此下令在江岸上的明军直接放炮打碎敌船，阻止日本水军登陆。于是当日本水军迫近岸边时，岸上明军齐齐施放大炮、火箭。其中一艘倭船被明军打碎，其余船只见状纷纷逃遁。（《东征记》）
同一天，杨镐让明军休兵，命令朝鲜兵与降倭在木盾护卫下，手持干柴、干草在岛山城下放火烧城；又命令他们将岛山城下的井泉给填上，防止岛山城内的日军从中取水。接到杨镐命令后，朝鲜经理接伴使李德馨、都元帅权栗亲自督战，权栗杀死了怯战的朝鲜灵山县监全悌和另外两人，传示朝鲜军中，警告朝鲜将士不得畏缩不进。在权栗的督战下，朝鲜士兵不敢不进，直奔岛山城下，但日军不断从岛山城上向朝鲜军施放铁炮，“贼丸如雨”，穿透了朝鲜军的木盾，给朝鲜军造成了较大伤亡。最后，朝鲜军不得不撤退。
经过连日战斗，被困岛山城内的日军严重缺水，如果继续死守下去，迟早会被渴死。庆念在《朝鲜日日记》中写道：
城中缺水，众人受难。只有下一场雨，城里的人才能得救。日本如果是神之国，就下些雨滋润一下人们吧！如今缺水严重，我们连洗手的水都没有。如果下点雨，就能把纸润湿，也能擦擦手。真可怜啊！
据明人徐希震的《东征记》记载，加藤清正缺乏饮水，非常饥渴，又看到城墙上躺了很多日军尸体，这让他无意守城，想要舍身求见杨镐。加藤军中有一个叫孙顺的华人，擅长占卜，他推算第二天就会下大雨，日军的援军也会到来。在孙顺的劝服下，加藤清正最终没有出城投降杨镐。
无论《东征记》的这个记载是否可靠，当日傍晚，果真下起了雨，加藤清正绝处逢生。十二月二十七日早上，明军抓获了4名从岛山城内逃出来的日本士兵。经杨镐、麻贵审问，这4名日本士兵供称：岛山城内缺少粮食与饮水，直到前一日下雨，日本士兵才喝到水；加藤清正对自己从西生浦来到岛山感到非常悔恨。审问完毕后，杨镐将4名日本士兵交给李德馨看护。之后，杨镐接见了李德馨和权栗，慰劳他们说：“尔国之军，虽不得焚陷贼营，冒死攻城以助声势，极为可嘉。”
辰时（早上7时至早上9时），西生浦的日本水军冒雨出动，30艘倭船迫近太和江江岸。杨镐、麻贵命令朝鲜官兵对岛山城急速做出围城的样子。浙江兵在太和江边与日军水路援军大战良久，两边皆发大炮，炮声不绝，最后以日军水军重创败退而告终。（《宣祖昭敬大王实录》）麻贵担忧日本水军还会在晚上冒雨袭来，命令明军三协严阵以待。
水路援军再一次被挫败后，岛山城内进退失据的日军便想要与明军议和。加藤清正的副将美浓部金大夫喜八写了一封求和信，让几个日本士兵绑在竹竿上，打着白旗出城，投到明军阵营。但信的内容并不真诚，先是欺骗明军加藤清正不在岛山城内，而是在西生浦，城内只是小将；又要求明军差遣一员朝鲜将领，和日军一同前往西生浦讲和。杨镐命人查看信件后，假意诓骗送信的日本士兵，说如果加藤清正愿意来降，则不仅岛山城内的日军可以免死，还会对清正封官厚赏。日本兵也诓骗杨镐，说加藤清正在西生浦，不在岛山城内，请明军让出岛山城南面的道路，好让他们去向西生浦的加藤清正报信。
日本使者走了以后，杨镐招来诸将举行军事会议，商讨下一步行动。他又招来李德馨，告诉他明军三协人困马乏，需要没有上过战场的朝鲜士兵去割取粮草，供给各营明军。会议结束后，杨镐、麻贵回到驻营地，开始搭建草房作为他们的临时住所。自蔚山战役以来，明军一直风餐露宿，经理杨镐、提督麻贵也是如此，条件非常艰苦。
申时（下午3时至下午5时），杨镐命令朝鲜庆尚道右兵使金应瑞带领翻译人员朴大根与降倭冈本越后守、田原七左卫门，到岛山城下劝降日军。（《吉川家谱》《大河内秀元朝鲜记》）城内日军回答道：“欲战则战，欲和则和！开一面容我出城，且遣将官，则当议和事！”他们要求明军解除一个方向的围困，使其出城，并索要一名将官作为人质。显然，日军的要求并不能被明军所接受。
二十六日、二十七日，雨一直下，风也刮得很大，露宿野外的明军身上没有一片干的地方。据《东征记》记载：“二十七日，果大雨如注，雨宿，加以猛风号吼，军士堕指、裂肤，冻死枕藉。”《宣祖昭敬大王实录》也对明军的窘境记录道：“至今夜，雨下不止，人马饥冻，泥泞没膝。土窟之陷，百倍攻城。而天时如此，极为闷虑。”
十二月二十八日，明军将一些佛郎机炮搬到鹤城山上，对着岛山城放炮，“自城北山上瞰视城中，相距六七百步，以佛郎机狙击丘上，齑粉者数人”（《朝鲜役录》）。明军在鹤城山上的炮击效果很不错，佛郎机炮一下子就打死了几名日军，这让周围的日军非常惊愕，纷纷想要躲避。加藤清正叱责众人，让他们不要轻举妄动。过了一会儿，明军的佛郎机炮又打了过来，炮弹落在加藤清正等人面前，但加藤清正故意安坐不动。有明军士兵望到这幅场景，以为是发炮的角度太低了，没打中，于是抬高角度发炮，炮弹高高地从岛山上空越过。加藤清正见状，让其余日军做出假动作，装作被炮弹击中的样子，这让明军误以为找准了角度，于是频频用这个角度对岛山城放炮，但其实根本没有瞄准日军。（《朝鲜役录》）
这一天，雨势仍然未停，朝鲜军再次受命冒雨攻打岛山城，但是死伤如前，未有进展。当天晚上，西风大作，天气变得更加寒冷，把守太和江江岸的浙江兵尤其艰苦。（《宣祖昭敬大王实录》）明军和朝鲜军都因大雨不止、将士受冻，动摇了士气，失去了继续作战的意志。（《再造藩邦志》）岛山城内的日军同样饥寒交迫，《大河内秀元朝鲜记》记载：
城内四处都是饥寒交迫的士兵，五十人或三十人倚靠在一起，不久就垂头死去，不知有多少人幸存下来。很多人两三日不能动弹，城内士兵有人手握着长矛死去，也有人被冻死。
但是到了这天晚上，加藤清正的部将加藤大和重次、庄林隼人、近藤四郎右卫门等人，还是率领100余名骑马武士、300名铁炮众出城夜袭，向围守岛山城东面的明军营地放了一阵火箭、铁炮，之后退回城中。（《清正行状》）
十二月二十九日，大雨逐渐停止，但风仍然在刮。杨镐对李德馨等人说，风势大好，多准备柴木，乘着大风烧了岛山城。于是，明军三协与朝鲜官兵忙去收集柴草，准备再次施行火烧岛山城的计划。午后，自西生浦出发的26艘日军船只从蓝江逆流而上，成功驶入太和江，与岛山城相望。岛山城内的一名日军将领率领五六名士兵出岛山城，呼唤城外日军。把守太和江江岸的明军见状，对着日本水军放炮，直到申时末刻（下午5时）日军水军才退去。这时，明军、朝鲜军已经将柴草收集好了，杨镐命令明军、朝鲜军手持柴草，用盾牌护卫着前进，想要在岛山城下纵火。但是“贼窟铳丸如雨”，岛山城上的日军不断用铁炮射击山下的明军、朝鲜军，使联军无法逼近，才前进至岛山城的木栅前，就不能再往前走一步了。
黄昏之后，明军、朝鲜联军整兵再攻，但情况还是相同，日军的铁炮不断从岛山城上射向山下的联军，使联军难以寸进，联军最后不得不放弃。停止攻势的杨镐、麻贵回到了营帐内，杨镐让士兵建造草房，又令李德馨等催运粮饷，打算在岛山城外长期屯驻，耗死城内断绝兵粮的日军。麻贵向杨镐建议，明军可以在城外的东、南、西、北四个方向中解除一个方向的围困，在城外设下埋伏。[8]这样城内日军一旦出城，就可以利用埋伏狠狠打击日军。但是杨镐并没有听从麻贵的建议。
这一天夜半，日军水路援军的一艘小船驶入太和江，停泊在岛山城附近，30多名日本士兵从岛山城内偷偷跑到太和江江边，想要乘船逃走。但这些日军遭到了明军副总兵吴惟忠埋伏剿杀，被斩首6级，明军右协也斩首1级，剩下的日本士兵带着伤逃回了岛山城。
因城中粮食几乎告尽，加藤清正窘困到了想要自杀的地步，并已打算用小刀自刎。部下夺下了他的刀，劝他说城里还有一头牛，等吃完了这头牛再死不迟。《宣祖昭敬大王实录》记录下了清正当时的窘境：
清正独与其军，计粒而食，已经累日，事势甚迫，拔小刀拟颈。军官倭前夺其刀，曰：“此中有一牛可烹，吃尽后处之。”
日本史料《朝鲜征伐记》也记载了岛山城内日军的窘状：
于是城中及饷路绝矣，夜汲濠水，濠多尸，混血饮之以救渴。嚼纸或煮壁土而食，或食牛马，牛马亦尽。出城外取战死者腰间粮以充食，将帅共一饭，分数箸以与兵士，与之共艰苦。
显然，日军缺粮非常严重，少有的食物也只优先供给能使用铁炮的士兵，其余人就只能自生自灭了。
十二月三十日，岛山城内的日军再次派人投书于明军阵中，声称城内没有识字之人，但日本水军船只上有僧人认识，希望能够把僧人招来，与明军议和。这明显是假话，如果岛山城的日军没有一个人识字，加藤清正又是如何投书于杨镐的？但杨镐想要生擒加藤清正，便故意骗他，称只要加藤清正亲自出城过来会面，就赦免他。加藤清正回复表示同意。
转眼间，岛山之战已经打到了万历二十六年（日本庆长三年，1598年）。一月一日这天夜里，岛山城内浅野幸长的两名部下与太田一吉的一名部下，顺利潜出岛山城，与西生浦的日本援军进行了联络。他们向西生浦的日军送去了一封信。这封信由加藤清正、浅野幸长联合签名，根据《浅野家文书》的记载，内容如下：
上个月二十二日，大明国十万军到达蔚山做攻城准备，二十三日开始攻城。我军于卯刻（上午6时）至巳下刻（上午11时）进行防御战，但由于实施工程时天气寒冷，护城河、城墙的修建并不完善，我军被包围在城中，只能固守本丸至三之丸。连日作战，眼前总有很多人死去。虽然敌军人数也在减少，但是城内兵粮不足，新的兵粮还需要数日送达。没有兵粮，我军难以对付别人。后来我军发动夜袭，取得了胜利，但如今城堡的修建工作还未完成，兵粮也未送达。如果援军不能顺利驱逐敌军，我们已经做好了心理准备，请您放心。如果发生上述之事，我军会在数日之内竭尽杀敌，特此相告。
加藤主计头（清正）、浅野左京大夫（幸长）
（庆长三年）正月一日
从这封信件来看，他们根本没有与明军议和的想法，甚至已经做好了战死的准备，之前向明军投书求和，只不过是缓兵之计。正如《宣庙中兴志》指出：“杨镐、麻贵围岛山日久，贼兵大困，清正至欲自决，乃佯约日请降，而密求救于诸屯。”
西生浦的日军接到加藤、浅野的信件后，集结大量兵力，开始赴援岛山城。