自万历二十五年十月开始，日军拆毁原朝鲜蔚山城（邑城）的石墙，在东南面新筑岛山城（蔚山新城）。岛山城和环绕在其周围的东部洞（城隍堂、伴鸥亭）、西部洞等日式工事，组成了蔚山倭城。到明军发起进攻为止，岛山城的修筑工作尚未完成。工程由浅野幸长、太田一吉（军监）、加藤安政（加藤部将）、宍户元续（毛利部将）等人负责，而加藤清正则在筑城期间去了南面的西生浦。
蔚山倭城的北边，是由毛利秀元的手下驻守的兵营城（又称“假营”“清正别营”“左兵营旧墟”），这是日军防御明军南下的前哨据点，承担着拱卫蔚山倭城的功能。令日军始料未及的是，十二月二十三日拂晓[6]，蔚山倭城尚未修筑完毕，明军左协大将李如梅就率领300名先锋，突然杀向毛利军驻守的兵营城。由于明军悄然进发，“衔枚摘铃，偃旗息鼓”（《东征记》）；而日军麻痹大意，“不用斥候，不审敌军动静”（《大日本编年史》），以致对明军袭来毫无准备。
毛利军的先锋部队，分别由浅口某某、阿曾沼元秀、冷泉元满率领，明军首先突入的是浅口阵营。浅口阵营的士兵猝不及防，完全不能抵挡，只好逃往阿曾沼元秀的阵营。阿曾沼元秀虽然试图抵抗明军，但根本不是明军的对手，其部队一触即溃，他本人也被当场杀死，明军随即杀入冷泉元满的阵营。冷泉元满在睡衣外绑上腰带，插上两把腰刀，又抄起一把长刀冲出作战。他是一位56岁的老武者，作战时丝毫不退缩，但依然不敌明军阵亡。冷泉元满的侍童不愿离开他的身旁，一同战死，而他的家老吉安太郎兵卫、伊贺崎又兵卫、白松善右卫门因事先有事前往其他阵营，与浅口阵营的溃兵一起遁走，逃过一劫。在这场突袭中，毛利士兵一共战死了137人。（《松井物语》）
在冷泉元满的阵营附近建立临时房屋的，还有加藤安政与其11名手下，但他们在战斗打响的好长一段时间里都没有发现浅口、阿曾沼、冷泉的阵营受到了明军袭击。明军发起突袭的这一天黎明，睡梦中的加藤士兵在卧房中听到附近阵营传来的巨大枪炮声，还以为是同伙天没亮就在打猎天鹅。日军阵营附近有一片广阔的沼泽地，每晚都有很多天鹅飞来。天鹅喜欢在天亮时飞上天空，寻找食物，日军士兵就趁它们飞起来的时候开枪，把它们打下来炖汤喝。
直到前线战败的毛利士兵被明军一路追逐，逃向加藤军的阵营，加藤安政才知道明军打来了。他立即穿上铠甲，叫上11名手下一起逃命。但明军摆出“鹤翼阵”，紧追不舍，根本无法甩开。加藤安政决定一边退兵，一边进行拼死反击。在这万死一生的绝境中，加藤安政和2名加藤士兵摆脱了明军的追击，其余9名加藤士兵全部阵亡。（《松井物语》）
李如梅继续发起进攻，兵营城的日军阵所多数被焚。驻守在蔚山倭城周围的宍户元续、浅野幸长、太田一吉等人闻讯后，急忙调遣援兵前来支援兵营城，对明军展开反击，不多时就集结了大批部队。《东征记》记载：“倭欺我兵少，驱蚁众万余突出。”《两朝平攘录》记载，日军“纵万余徒，各披戴鲜明盔甲，铳炮齐发”。《大河内秀元阵中日记》更是称日军兵力达到23000人之多。不过李如梅孤军深入，本来就是示弱之计。明军早已事先设下埋伏，李如梅分兵设伏于蔚山百年岩近处（兵营城以东、靠近东川东岸的农所面），麻贵麾下参将杨登山、游击摆赛藏兵于东川两翼隐蔽处，只待日军上钩。伏兵的兵力，一共有3000人。李如梅见日军出动大军，便佯装不敌撤走，把浅野、宍户、太田等兵引入明军的埋伏圈。
将日军引诱进埋伏圈，是提督麻贵定下的计策。辰时（早上7时至早上9时），麻贵赶到战场，“亲督前军，大呼乱砍”。随军的朝鲜忠清道兵马节度使李时言目睹了战况，他描述道：“麻贵所率鞑子二百余名，皆持环鞭，乱打如雨疾雷。（日本兵）不及掩耳，铳筒亦不暇放。贼兵之走，亦如我国人（朝鲜人）之走。以此见之，铳筒于马战，亦末耳。”（《宣祖昭敬大王实录》）也就是说，在明军铁骑的冲击下，日军连铁炮都来不及放，就落荒而逃了。巳时下刻（上午11时）[7]，战败的日军弃守兵营城，向尚未完工的蔚山倭城方向逃窜。《东征记》形容道：“贼见草木皆兵，枪斧如林，各无斗志，抱头鼠窜。”其中，军监太田一吉舍弃战马，徒步逃跑，结果被明军追逐，有三支箭差点儿就射中了他。四名侍童小池新八郎、清水弥一郎、多田孙右卫门尉、中村勘四郎见状，就前后左右地围住他，掩护他逃跑。六七名明军骑兵紧追不舍，追逐太田一吉主仆，不停地向他们放箭。侍童清水弥一郎为了不让太田一吉被箭射到，站出来挡住明军，结果被明军射杀。直到家臣大河内秀元率领一队人马赶来，才让太田一吉摆脱明军追逐，脱离险境。（《大河内秀元朝鲜记》）
其他手忙脚乱的日军在江边争夺船只逃亡，其中有四五十艘船在哄抢中倾覆，造成多人死伤。午时（上午11时至下午1时），明军经理杨镐赶到战场督战，他“亲督中军，催迫攻斗”（《东征记》），于是“城外贼幕，尽为焚烧，余贼遁入城内土窟”（《宣祖昭敬大王实录》）。到了申时（下午3时至下午5时），由于南兵尚未到齐，明军停止进兵，开始查验首级。此一阶段的战斗，朝鲜史料称为“农所之战”。
据明朝史料《两朝平攘录》《万历邸钞》记载，明军在这天共斩得日军首级440余颗；朝鲜史料《象村稿》记载，明军共斩得日军首级460余颗。日本大河内秀元的《大河内秀元朝鲜记》，更是声称日军“今日败军，我方死者一万八千三百六十余人”。无论如何，日军死伤累累。在这一天的攻势中，明军骑兵发挥了非常重要的作用，柳成龙在《惩毖录》中对明军骑兵的表现做了高度评价：
今此蔚山之役，天兵初日乘贼不意，以兵马蹂之。贼仓皇不能支吾，奔败不暇。
同一天，还发生了一件事。先前为明军侦察日军情报的降倭吕汝文，又潜入日军阵营中去侦察敌情，但还未等吕汝文撤出，明军就已经和日军接战。在一片混战中，吕汝文斩得4颗首级，从日军阵营中冲了出来。游击摆赛看到以后，上前砍死吕汝文，抢夺了他斩获的4颗首级，冒充是自己砍下的。（《宣祖昭敬大王实录》）于是在朝鲜史料《象村稿》《再造藩邦志》中，便出现了“赛于军中，即手斩四级”这样的记载。当夜，经理杨镐抵达岛山北边的鹤城山，在此设立指挥作战的大本营。杨镐本欲重重赏赐吕汝文，却听说他已经死于乱兵之中。
日军放弃兵营城逃走以后，集体逃往蔚山倭城工事群，凭借作为内城的岛山城和东部洞（城隍堂、伴鸥亭）、西部洞、东营、太和江寨等外围日式城防工事，继续负隅顽抗。据《宣祖昭敬大王实录》记载，岛山城的建筑格局为：“孤山有两层，如覆铜盆之状，势不高峻，如造山，然设木栅而其上筑城，是谓内城。虽云三匝而实二匝也”，“因地形筑二匝……以石筑之，出穴上下，皆能放炮。百步之内，发丸如雨”。
日军退守蔚山倭城后，对城防部署如下：
地点 负责武将 岛山城 加藤安政 东面城隍堂（出丸、浅野丸） 浅野幸长 外郭北面 宍户元续、加藤与左卫门 外郭西面 太田一吉蔚山倭城的后方，是太和江。渡过太和江南下，就是加藤清正所在的西生浦。加藤清正得到蔚山倭城被围的消息后，一开始还不相信，以为是明军知道他在西生浦，想引诱他到蔚山倭城而故意放出的假消息。当加藤清正确认这一消息无误后，当晚就带着吉村左近、吉村长右卫门、下川右卫门作、蟹江藤三郎、下川兵太夫、三宅喜藏、相田权内、鱼住彦十郎、嘉礼次郎三蓝、河原少九郎等小姓众，阿波为兵卫、村田八右卫门等母衣众，村田市太夫、平野角右卫门等弓头，一共50名士兵，乘坐一艘小船从西生浦渡海，向蔚山倭城进发。渡海途中，加藤兵遭到明军拦截，被杀20人，其余30人和加藤清正成功进入蔚山倭城。（《宣祖昭敬大王实录》《浅野家文书》）
十二月二十四日卯时（凌晨5时至早上7时），麻贵、杨镐发号施令，督率官兵向蔚山倭城的外围工事发起攻击，被朝鲜人称呼为“书生”“文职大官”的杨镐亲自披甲督战。根据日本史料《上山助左卫门尉高丽阵觉书》的记载，明军骑兵使用短弓，步兵使用5尺多长的棍棒，其前端插有2寸长的刀刃，同时还使用了火炮（《日本战史·朝鲜役》认为是佛郎机炮）。军服方面，明军身穿红色战袍、白色铠甲，兀良哈人（指明军中的蒙古兵，如摆赛）的部队身穿黑色军服，朝鲜人身穿白色军服。
明军先放大炮，“各样火炮俱发，轰天震地，烟焰沸空。城中倭屋，一时火起，北风大起，风火所被，贼众披靡”。火炮攻击之后，左协明军主攻蔚山倭城东面诸工事，其中李如梅攻打城隍堂，他放火箭烧城，导致“城里房舍及江边倭船二只，为火箭触燹，烟焰涨天”。（《宣祖昭敬大王实录》）左协的茅国器率所部攻击东营、伴鸥亭，而右协的李芳春则带人扫荡蔚山倭城西面的太和江寨。
三个进攻方向中，茅国器部攻势最为迅猛，平明时分先破东营，之后又攻克伴鸥亭，再进逼西部洞，“奋命先登，连将三寨打破”（《两朝平攘录》）。在城西，明军右协兵马进逼太和江寨。一开始诸将还畏惧不前，右协主将李芳春见此，密令麾下家丁持其黄伞登城，立于城上以为标志，于是诸将一时俱进，顺利夺下太和江寨。（《宋经略书》）而李如梅部却遇到了麻烦，由于浅野幸长坚守城隍堂，一时无法攻陷。不过这时，明军左协陈寅部向蔚山倭城西北方向发起进攻，并连续攻破外栅和三层内木栅，进逼至岛山城下。（《宣祖昭敬大王实录》）加藤清正见西北面已失，认为已经危及内城安危，固守外围工事已毫无意义，便派遣使者让浅野幸长撤回岛山城。之后，浅野幸长终因抵挡不住明军的攻势，弃守城隍堂，向岛山城逃去，李如梅随即攻陷城隍堂。（《大日本编年史》）在当日的攻势中，明军一共斩得日军首级661颗，生擒4名倭将，获得倭马、器具、盔甲、刀、铳、旗帜等战利品无数。（《东征记》）