自道光十九年赴京就职以来，为了仕途前程，曾国藩已阔别家乡整整十二年。
道光二十六年，曾国藩的祖母病故，他闻讣后即欲南归，但未能成行。第二年春天，祖父星冈公身患重病，这位刚强一生的男子在他的晚年无奈地倒在了床上。曾国藩闻讯后除写信与父母、几位弟弟详商治疗办法后，决意一归。但一入宦途何能自主。四千里关山，将一个游子的思乡之情阻隔。自京城往返湘乡，行程需要三四个月，加上小住一两个月，需时半年。按照规定，这样请长假只好“开缺”，即暂时离开现职，期满回京重新“补缺”。按正常情况，重新补缺往往需要一年左右时间，而且，将来能否补上“优缺”，难以逆料。这是曾国藩听从高堂之命，难以下决心回乡省亲的重要原因。再者，往返费用开销也很多，当时曾国藩已经“负债累累”，如果再增加支出，对一个京官而言是不堪重负的。因此，曾国藩给弟弟们写信讲回家的“三难”：
兄自去年接祖母讣后，即日日思抽身南归。无如欲为归计，有三难焉：现在京寓欠账五百多金，欲归则无钱还账，而来往途费亦须四百金，甚难措办。一难也。不带家眷而归，则恐我在家或有事留住，不能遽还京师，是两头牵扯；如带家眷，则途费更多，家中又无房屋。二难也。我一人回家，轻身快马，不过半年可以还京。第开缺之后，明年恐尚不能补缺，又须在京闲住一年。三难也。有此三难，是以踌躇不决。而梦寐之中，时时想念堂上老人，望诸弟将兄意详告祖父及父母。如堂上有望我回家之意，则弟书信与我，我概将家眷留在京师，我立即回家。如堂上老人全无望我归省之意，则我亦不敢轻举妄动。下次写信，务必详细书堂上各位老人之意。
儿行千里母担忧。父母何尝不希望与十几年在外的儿子团圆，只是亲情不能耽搁国亲事，也不能妨碍儿子的前程。父母让他一意服官，曾国藩只好回信表示“男前与朱家信言无时不思乡土，亦久宦之人所不免，故前次家信亦言之。今既承大人之命，男则一意服官，不敢违拗，不作是想矣”。不久，曾国藩升任内阁学士兼礼部侍郎，连升三级的佳绩似乎是一种补偿。
道光二十九年，曾国藩的父亲曾麟书年届六十。按中国人的传统习惯，周甲之年属大庆，应该把寿辰办得风风光光。在京城的曾国藩却不能自已，决定明年请假回乡再办。他去信跟几位弟弟说：“吾近于宦场，颇厌其繁俗而无补于国计民生，惟势之所处，求退不能。但愿得诸弟稍有进步，家中略有仰事之资，即思决志归养，以行吾素。今诸弟科第略迟，而吾在此间公私万事丛集，无人帮照。每一思之，未尝不作茫无畔岸之想也。吾现已定计于明年八月乞假归省，后年二月还京，专待家中回信详明见示。”但仍然没能如愿。不久，他的祖父病逝。他闻讣后请假二个月，在京中寓所穿孝，以托哀思。他还向亲友同僚发讣帖五百余从，并特别写上“谨遵遗命，赙仪概不敢领”。他将收到的祭幛做成马褂数十件，分寄家中族戚，即所谓民间的“分遗念”。
咸丰二年（1852）六月十二日，曾国藩在焦急不安中被钦命充江西乡试正考官。江西毗邻湖南，距湘乡尤近。因此，曾国藩次日递折谢恩时，奏请试竣后赏假两月回籍省亲。咸丰允准。然而当时传递信息的方式落后，这一天，恰是其母去世的日子。
六月二十四日，满怀着为朝廷取士的热望和与家人久别重逢的喜悦，曾国藩驰驿而行。繁华的京城和威严的紫禁城被远远地留在了身后。他不会想到，这一次离京，一别就是十几年。他也不会想到，时代的激荡将把他引向另一条道路。他更不会想到，这一次离京，儒生真的羽化成“蛟龙”，他的命运已与大清朝息息相关。
曾国藩乘坐官备驿站，经直隶，过安徽，经过一个月的旅行，于七月二十五日，行抵安徽太和县境内小池驿时，却接到了母亲江氏已于六月十二日逝世的讣闻。曾国藩想起十几年前的分别竟成永别，想到操持一生的母亲临终前竟没有见到身穿二品官服的儿子，痛心不已，立即改服奔丧，迅速由九江乘船西上。行至武昌时，曾国藩从湖北巡抚常大淳处得知，太平军正在全力攻打长沙，于是他又从岳州改行旱路，途经湘阴、宁乡，于八月二十三日回到白杨坪。四十二岁的曾国藩扶棺痛哭。九月二十二日，曾国藩的母亲江太夫人被安葬在下腰里宅后。此时的太平军已锐不可当。
咸丰二年，太平军出广西，入湖南，连克州县，湘省各地“蜂起应之”。八月，太平军围攻长沙，全省震动，地主富豪纷纷逃命，郭嵩焘兄弟及湘中名宦左宗棠兄弟也率眷属避入玉池山梓木洞。年底，太平军兵指湖北，水陆并进，“帆帜蔽江，所过城镇，望风披靡”。与太平军的势如破竹相反，清军一触即溃，接连丢失重要城池，大有土崩瓦解之势。这一年年底，太平军以地雷轰塌武昌城墙，遂克武昌。这是太平军攻下的第一座省城，举国为之震动。眼看江南半壁江山换了颜色，咸丰皇帝气急败坏。对于八旗兵与绿营兵的软弱涣散，他虽然早有觉察，但没想到竟如此不堪一击。前方局势的急转直下，促使清廷高层寻找另外的救急之策。这就是令各省在籍的大臣举办团练，自卫桑梓。在家为母服丧的二品大员曾国藩也在其列。
咸丰二年十一月二十九日，咸丰在给湖南巡抚张亮基的上谕中说：
前任丁忧侍郎曾国藩，籍隶湘乡。于湖南地方人情，自必熟悉。着该抚传旨，令其帮同办理本省团练乡民，搜查土匪诸事务，伊必尽心，不负委任。
中国封建社会以孝治天下，清代沿用以往朝代制度，明文规定，无论多高职务的官员，父母去世必须离职守制。如果朝廷特别需要这位官吏，必须特发诏命其不必去职，以素服办公，不参加吉礼；如于守制尚未期满之时，即令复职，则称为“夺情”。臣子为表示尽孝的诚心，连皇帝“夺情”的命令也可以不听。封建社会讲“君要臣死，臣不得不死”的“忠”，但臣子要搬出一个“孝”字来对抗，君也无可奈何。
就被“夺情”的大臣而言，可谓情况各异，不可一概而论。有的为了不离开权力核心，而自愿“夺情”，有的为了辅理朝政而不得不“夺情”。但结果大多招来士人的攻讦，有的甚至身败名裂。远者勿论，明万历五年，张居正为内阁首辅时，其父在湖广（明代为湖广省）江陵原籍病逝，万历帝年值冲龄，令张居正“夺情视事”。张居正听从王命，移孝作忠。却招来士人的强烈反对，张居正为此廷杖反对者。张居正的“夺情”，推动了明代中后期的改革运动，缓解了大明王朝的统治危机。然而，史书中说，张居正刚死去时，反对他的人为之举手称庆。当然，时间是最后的评判人，若干年后，人们越来越感到了张居正的可贵。
曾国藩熟悉历代掌故，他对清代理学家李光地的“夺情”也有自己的看法。当年康熙皇帝优礼汉大臣，对福建籍的李光地尤为宠信。在收复台湾的重大决策中，康熙多次咨询李光地，李光地也直抒己见，献智献计。但“中年夺情”，成为身为理学家的李光地受士人诟病的渊薮。一个半世纪过去了，曾国藩面临李光地当年的两难抉择。
曾国藩一向笃信理学，视诚、孝为人臣之大节。因此，当他于十二月十三日接到那份要他出山的上谕时，几乎没有迟疑，立即“草疏恳请终制，并具呈巡抚张亮基代奏，力陈不能出之义”，但“缮就未发”，实则陷入矛盾中。他饱读儒家诗书，深知忠孝的大节是为国尽忠，去建功立业，去成就“三不朽”。但母亲的尸骨未寒，“墨绖从戎”，即使不被天下人耻笑，自己也心有不忍。十二月十五日，曾国藩又接到张亮基来信，得知武昌于十二月四日已被太平军攻占，不胜震惊。“以湖北失守，关系甚大，又恐长沙人心惶惶，理宜出而保护桑梓”。不错，现在的情况不同于和平时期，武昌被攻克，长沙则不保，而一旦湖南倾覆，即使他想守在礼庐旁为母服丧也无法办到。覆巢之下，安有完卵！曾国藩有了动摇。
恰巧在这一天，好友郭嵩焘赶赴湘乡为曾母吊唁。县令朱孙诒清楚郭与曾的关系非常，不敢怠慢，立即传官轿送郭嵩焘前往曾家。一百二十里的路，郭嵩焘赶到曾家时已是深夜。两人秉烛畅叙，当谈及时事时，曾国藩说自己要守制，不能出来主持团练。郭嵩焘“力止国藩曰：‘公素具澄清之抱，今不乘时自效，如君王何？且墨绖从戎，古制也’”。郭嵩焘素知曾国藩野心勃勃，以整治封建秩序为己任，现在面临“乱世出英雄”的机会，为什么不大大施展抱负，尽忠皇帝呢？郭又拿出“古已有之”的例子来说服曾国藩，情真意切，不可言表，给标榜“忠孝”的曾国藩一个很好的台阶下，但曾国藩为了表示尽孝的决心，仍表示不同意。
郭嵩焘又反复与曾国藩的父亲谈“保卫家乡”的大道理，曾父认为讲得对，便把曾国藩叫到面前教训了一番。曾国藩这才应允。但多日不见起行。郭嵩焘又同他的弟弟郭崑焘一同前往曾家劝说，但曾国藩却以郭氏兄弟入幕参赞其事为先决条件，郭嵩焘只好答应。此后四年，郭嵩焘大部分时间都在曾国藩幕府中度过，成为湘军初创、曾国藩“大业”初起时的主要人物之一。郭嵩焘后来叙述此事时，说曾国藩成就“中兴”之业，他劝出山的功劳最大。
除了“忠”“孝”不能两全的矛盾外，曾国藩还是一个十分务实的人，他深知自己讲理学、佐朝政尚可称职，而对于兵法阵战、练兵打仗可以说完全是个外行，而且，打仗是人命关天的事，与写文章不同。尤其是现在朝廷让地方乡绅自筹饷项，而自己平素所交之人，大多贫寒之家，拿不出银子，就招不到兵、勇。因此，当乡间名流好友及巡抚大员一再请他出山时，他最初均表拒绝。咸丰二年十一月，他写信给刘蓉，就这样解释迟迟不赴团练局的原因：
国藩之所以迟迟赴局暗诸君子之后者，盖自七月二十五闻讣，至十一月初五始克释缟素而更墨绖。若遽趋县城，既不可以缟素而入公门，又岂可竟更墨绖，显干大戾。且局中要务，不外训练武艺，催收捐项二端。国藩于用兵行军之道，本不素讲，而平时训练，所谓拳经棍法不尚花法者，尤懵然如菽麦之不辨。而侧闻石樵先生之胆勇，及左右与罗山、赵、康、王、易诸君子之讲求切实，国藩寸衷自问，实不能及十分之二三。至于催促捐项，无论斩焉在疚，不可遽登人门，即使冒尔从事，而国藩少年故交，多非殷实之家，其稍有资力者，大抵闻名而不识面，一旦往而劝捐，人将有敬而远之之意，盖亦无当于事理。是以再四踌躇，迟迟未出。
曾国藩办事讲究条理，往往从最根本处讲求。让一个身带墨孝的人出入乡绅富户之家，是对先人不孝，对他人不恭，况且，他的人际关系对于筹集饷项可以说没有大补。但是曾国藩又是一个有责任感的人。他对刘蓉说：“国藩居湘乡之土，为湘乡之民，义不可不同心合力保护桑梓，拟于百日之后前赴县门，以明同舟共济之义。”随即提出自己的意见：“鄙意以为壮勇贵精而不贵多，设局宜合而不宜分”，认为“但得敢死之士四百人，则固可以一战。”
十二月十五日，曾国藩又给他的内兄欧阳秉铨写去一信，请他前往京师，帮助将家眷接回湘乡，他还说自己在家服丧仅满四月，家中诸事尚未料理，此时若立即出山办理官事，则不孝之罪滋大。“且所办之事亦难寻头绪，若其认真督办，必须遍走各县，号召绅耆，劝其捐资集事，恐为益仅十之二，而扰累者十之八；若不甚认真，不过安坐省城，使军需局内多一项供应，各官多一处应酬而已。再四思维，实无裨于国事，是以具折陈情，恳乞终制。”为了取得昔日友好对他内心苦楚的理解，他还将折稿寄到京师，请内兄转交“相好中如袁、毛、黎、黄、王、袁、庞诸君，尽可令其一阅。此外如邵蕙西、李少荃、王雁汀、吕鹤田有欲阅者，亦可一阅。盖欲使知交中谅我寸心，不必登诸荐牍，令我出而办事，陷于不孝也。”
由此可见，曾国藩对出山办团练的困难考虑得十分细致、具体。这也可以看出他是一个务实的人。