二 群疑众谤，移师衡州
本着精兵厚饷的原则，曾国藩在长沙训练的湘勇只有两千人左右。训练的办法主要是戚继光成法。每当曾国藩检阅兵士时，塔齐布穿着短衣，带刀侍立一旁。塔齐布是满洲镶黄旗人，侍卫出身。以长沙守城功擢游击，署中军参将。曾国藩与他交谈时，以之大奇，将其所统辖兵卒试以战阵，皆精练。因此，曾国藩决定请塔齐布当湘军教练。当时由各处调来省城的绿营兵，也有数千人。按照往例，一省的军事最高长官是提督，训练绿营兵本是提督的职责。湖南提督鲍起豹无能，这几千绿营兵乃一并归塔齐布统一训练。从咸丰三年四月起，曾国藩令湘勇与绿营，共同操练，还经常举行“会操”。
曾国藩对于训练要求十分严格，风雨烈日，操练不休。这对于来自田间的乡勇而言，并不以为太苦，但对于绿营兵而言，便无异是一种“酷刑”。在他们看来，曾国藩以团练大臣令他们与练勇会操，简直是一种污辱。因而，对曾国藩大为不满，尤以长沙协副将德清最为反对。结果，令出之后，只有塔齐布独领所部前往，其余驻长沙各营，不仅拒绝会操，还指责塔齐布谄事曾国藩，群起而攻之。湖南司道官员见此情景心中暗喜，以为是对好事者应有的惩戒。在这种气氛下，绿营兵就更加气焰嚣张，肆无忌惮。
曾国藩一般不轻易弹劾人。他清楚，一入弹章的人，以后很难被重用。但一则他对清德在长沙危急时的逃匿行为早已不满，二则不去掉清德就不能正常操练，甚至影响“别开生面”目标的实现。因此，他与张亮基商量，在取得张的支持后，于咸丰三年六月十二日，上疏弹劾清德。他说：自对太平军作战以来，官兵望风先溃，最可痛恨。而种种恶习的原因，是平日毫无训练，技艺生疏，心虚胆怯所致。为了改变这种状况，自己告饬各营认真操练，而清德不但从不到场，而且在署偷闲，养花种树，还向各地百姓勒索。对于营务的事，一概不知。现当湖南防守吃紧之时，如果听任下去，何以督率士卒！请将其革职！
也许曾国藩觉得将清德革职还不够以警示他人，因此，同一天又上折片，请将清德交刑部治罪：
长沙协副将清德性耽安逸，不理营务。去年九月十八日贼匪开挖（长沙）地道，轰陷南城，人心惊惶之时，该将自行摘去顶戴，藏匿民房；所带兵丁，脱去号褂，抛弃满街，至今传为笑柄。
在折片的末尾曾国藩说：
臣痛恨文臣取巧，武臣退缩，致酿今日之大变，是以为此激切之情。若臣稍怀私见，求皇上严密查出，治臣欺罔之罪。
为了鼓励塔齐布，同一天，曾国藩上奏折密保塔齐布、诸殿元两人，称赞塔齐步“忠勇奋发，习劳耐苦，深得兵心”。他将二人履历开单进呈，请皇帝破格超擢，冀以鼓励众心，“如该二人日后有临阵退缩之事，即将微臣一并治罪”。六月二十九日，咸丰帝发上谕，命将清德革职拿问，塔齐布赏给副将衔，诸殿元以守备补用。绿营兵因此大恨曾国藩、塔齐布。
如前所述，当时长沙城内，同时驻扎着绿营兵与湘勇。绿营因战斗力差，颇受勇丁轻视；而勇丁的月饷，高出绿营兵二三倍之多，绿营兵也嫉愤交集。因此兵与勇时生摩擦。鲍起豹等人又从中挑拨，双方愈来愈情同水火，甚至常生械斗。
据王闿运《湘军志》记载：十一月初四日，鲍起豹的提标兵（又称永顺兵）与塔齐布统带的辰勇因赌博发生斗殴，提标兵鸣号列队，准备讨伐辰勇。曾国藩欲杀一儆百，稍抑绿营兵这种怯于战阵而勇于私斗的风气，遂移咨提督，指名要捕肇事士卒。鲍起豹非常气愤，故意大肆张扬，公然将肇事者捆送曾国藩公馆，说：“今如命，您要拿的人我已缚到辕门。”提标兵为此群情汹汹，散满街市，曾国藩想斩了带头闹事者，又怕万一有变，犹豫不决。提标兵有恃无恐，十一月六日，先去围攻塔齐布，毁其居室，塔齐布匿于草中幸免丧命。接着，又于当晚冲进曾国藩的团练大臣公馆，枪伤随身亲兵，几乎将他击中。曾国藩狼狈万状，只得向骆秉章求援。曾国藩的公馆就设在湖南巡抚衙门的射圃内，中间仅一墙相隔，事情闹到这般地步，近在咫尺的骆秉章竟装聋作哑，坐观事态的发展，直待曾国藩前去叩门，方故作惊讶，出而解围。但骆秉章不但不治罪兵卒，反而给肇事者亲自松绑，向其赔礼道歉，而对备受屈辱的曾国藩却无一语相慰。事过之后，骆秉章对永顺兵和鲍起豹亦无追究弹劾之词，永顺兵事件遂不了了之。更使曾国藩难堪的是，长沙城中浮言四起，湖南巡抚及司道官员皆认为曾国藩不应干预兵事，永顺兵事件实属过于操切而激变。至此，曾国藩终于认识到自己无兵无权，不能同这些“文法吏”斗下去。三十六计走为上。
骆秉章
咸丰三年八月十四日，他离开长沙，二十七日移驻衡州练兵。事后他给骆秉章复信解释说：“自六月以来，外人咎我不应干预兵事，永顺一事竟难穷究。省中文武员弁皆知，事涉兵者侍不得过而问焉。此语揭破，侍虽欲竭尽心血，果何益乎？是以抽掣来此。”骆秉章是广东花县人，道光十二年进士，比曾国藩年长十八岁。后来任湖南巡抚，因丢弃疆土被革职一次。两人在京师时是同僚，曾国藩办团练，对骆秉章的巡抚位置是一大支撑，因此两人的合作倒无大碍。
营兵围攻大臣公馆的事，如果发生在军纪严明的雍乾时代，为首者必被斩首示众，为从者也要受到严厉惩处。但清廷此时已失去往日威严，连太平天国定都建号都无能为力，更何况此等小事！当然，如果曾国藩真的上奏清廷，肯定也要处理一些人。当时有人劝曾国藩据实参奏鲍起豹等人，而曾国藩刚于不久前参掉了副将清德，这时不便再动弹章，于是说：“做臣子的，不能为国家平乱，反以琐屑小事，使君父烦心，实在惭愧得很。”他即日将所部湘勇分别遣驻外县，自己的团练大营也移驻于衡州（今衡阳）。
曾国藩移军衡州，还有更重要的打算，他认为在衡州练兵，不像在长沙省城之地，耳目众多，“动多触碍”。走避山乡，若捐款多，则多练弁勇；若捐款少，可以少募弁勇，张弛伸缩，“惟吾之所自为”，别人不能横加干涉。在长沙练兵也容易被绿营所吞并，或者兵未练成，就被朝廷征召，这些都与曾国藩别立一军的目标相矛盾。因此，曾国藩走为上策，移师衡州。
位于南岳衡山南麓的衡州城，是湖南仅次于长沙的名城。湖南自古有三湘之称：潇湘、蒸湘、沅湘。衡州城正是蒸水与湘水的汇合处，为两广之门户，扼水陆之要冲，物产富庶，民风强悍，历来是兵家必争之地。顾祖禹在《读史方舆纪要》中称：“衡州襟带荆、湖，控引交、广，衡山蟠其后，潇湘遶其前，湖右奥区也。且自岭而北，取道湖南者，必以衡州为冲要；由宜春而而取道粤西，衡州又其要膂也。”曾国藩对衡州还有一种特殊的感情，这是因为他一来祖籍衡州，二来欧阳夫人是衡州人，三则他少年时代曾在衡州求学多年。来到衡州，曾国藩如同回到湘乡，有一种鱼游大海、虎归深山之感。衡州城小西门外蒸水滨，有一片宽阔的荒地，当地百姓称之为演武坪。这是当年吴三桂在衡州称帝时，为演兵而开辟的，后来便成为历代驻军的操练场，比长沙南门外练兵场要大得多。曾国藩把他带来的一千多号团丁，安扎在演武坪旁边的桑园街，团练大臣的大营设在桑园街上一栋赵姓祠堂里。为便于日常商讨，他要罗泽南、王珍、李续宾、李续宜、江忠济及曾国葆等都住在祠堂里。
移师衡州后的曾国藩，对刘蓉的话有了一番新的认识，他反过来看问题，把“非官非绅”变成“亦官亦绅”，变不利为有利，化不灵为灵便。首先，第一个有利条件是，非官非绅的身份使曾国藩没有封疆大吏肩负的守土之责，从而“逃避”许多罪责。太平天国发展前期，声势浩大，势如破竹，江南几不为清廷所有。而丢弃城池是地方官的大罪，湖南巡抚骆秉璋等人都罪至大辟，甚至有不少钦差大臣为此受到斩首的严惩。曾国藩出山之初，因无实权而叹息“办事艰难”，但也因为“在籍侍郎”免受清廷的惩处。等到太平天国势衰，曾国藩手中又有实权，也就不再慨叹“非官非绅”的身份之苦了。
其次，曾国藩以官的身份，打通官场，以博得当地官员的好感及支持。为此，他对比自己小几级的衡州知府以“兄”相称。衡州知府陆传应在曾国藩到来之前已有巡抚的札文，照例开城相迎。知府官位仅是从四品，比曾国藩的二品大员低了四级，但曾国藩并不以高压下，照样以“兄”相称，给陆知府的印象颇佳。有陆传应这个“下级”关照，曾国藩觉得事情比在长沙时好办多了。