曾国藩久宦京师，对人情世故、官场习气深为了解。他以一个非官非绅的身份要练一支“别开生面”的军队，势必与旧体制发生摩擦与矛盾。这种摩擦与矛盾大体来自三个方面：一是他的非官非绅的身份与地方官的矛盾；二是“别开生面”与官场旧习的矛盾；三是湘军的建立发展壮大取代了正规军，因而与国家旧体制的矛盾。第一种矛盾使曾国藩感到办事不灵，第二种矛盾使他有“越俎代庖”之嫌。
曾国藩到长沙之初，本想大干一场，于是按照自己的设想，在这里设置“协办团练大臣公馆”，内设“审案局”等办事机构，在各州县建立听命于己的绅团，以个人名义向全省发布文告，布置事务。而练兵乃当务之急。塔齐布是一个武职，他奉曾国藩之命，训练湘军很有成效。但这引起绿营军官的不满，长江协副将清德说，本朝的制度是将官不受文官统辖，即使巡抚也不问营操。提督鲍起豹听到这番话后，把怒气发到塔齐布身上，说盛夏练兵是虐待兵士，而且提督现驻省城（长沙），自己不传操，敢再妄为者军棍从事。塔齐布这下也退缩了，不敢再出来主持湘军操练。
曾国藩最初出山办团练，是以丁忧侍郎的身份来“入局”的。丁忧是为他母亲守丧，在此期间，朝廷要开去官缺，但仍享有原官品级的待遇；同时，他又“在籍”，在家乡守丧，因而又有了乡绅的身份。但他这个乡绅的身份也是虚的，因为他一旦服丧期满，又要离开湖南重返官场。而那些退休的官员才是真正的乡绅。就此而言，曾国藩的“亦官亦绅”都是虚衔，这就是他经常谈起“非官非绅，办事不灵”的原因。
而好友刘蓉却有另一层说法，他说：“我看这句话要倒过来说，应该是‘亦官亦绅，办事必成’。侍郎公曾经有为官的身份，在朝廷上的影响绝不是一般人所能达到的。而侍郎公如此体贴民情，与我们这些书生能打成一片，也不是一般当官的人所能做到的。现在这支上万人的队伍，主要还得靠侍郎公。”
“亦官亦绅”，曾国藩好像感悟到自己的身份也有特定的优势，他今后应该想方设法发挥这种优势。
这一时期的湖南巡抚是张亮基。他是江苏铜山（今徐州）人，举人出身，颇受云贵总督林则徐赏识，因林密荐，不到二年间四次升迁。道光末以云南巡抚兼署云贵总督。
咸丰二年，张亮基调任湖南巡抚，请曾国藩出山，信的末尾说：
亮基不才，承乏贵乡，实不堪此重任。大人乃三湘英才，国之栋梁，皇上倚重，百姓信赖，亟望能移驾长沙，主办团练，肃匪盗而靖地方，安黎民而慰宸虑。亮基也好朝夕听命，共济时艰。
曾国藩虽当时回绝了张的邀请，但后来出山的原因之一就是认为张是可以合作之人。确实，张亮基在湖南担任巡抚的一年多时间里，由于胡林翼等人从中斡旋，曾、张之间的关系大体不错。咸丰二年秋，张一离开湖南，曾国藩就感觉在长沙与地方大僚不好处，因而不得不移师衡州。曾国藩显然很怀恋这段同僚相处的时光。张调任山东巡抚的当年重阳节，曾国藩给张写信，详细道出自己“越俎代庖”的苦衷。曾国藩说：听说仁兄已调往山东，即使是一般的平民百姓，也怅若所失，顿失依靠。
曾国藩讲的“顿失依靠”，实际道出了自己的苦衷，因为他与现任湖南巡抚骆秉章关系还没有磨合好。信中说，今年以来，自己所经手办理的各项事宜，大半有超越权限，越俎代庖之嫌。自己本是一普通乡绅，办理公事又没有真正有权的职务，全凭名声来震慑匪徒。如果名声因此受到损害，那么，奸滑小民将会更加肆无忌惮，这样，自己当初的设想与事情发展的结果恐怕难以一致。想到这些，自己只得抽身隐退。
很显然，曾国藩出山之初很不利，一是他手中没有实权，没有管理地方的职责，但练兵筹饷，哪一项都要与地方官打交道。曾国藩此时性格外露，没有顾忌，因而招人怨、招人忌。二是体制上的矛盾。如文官不统辖武弁，这是清朝的定制，曾国藩破坏了，因而就有人名正言顺地反对他。再者，绿营兵是国家正规军，湘军当时称为乡勇，属于临时性质，是无法与绿营军争位置的。但曾国藩就是这种性格，直到咸丰八年再度出山时才有大的转变。
对官场积习的痛恨也是曾国藩出山初期屡遭坎坷的重要原因。本来，上下推诿，不做实事，一意敷衍，是官场通行的恶习，相沿已久，习以为常。这种官习在和平时期尚不会误大事，但处于战时状态，就显出其弊病。曾国藩跟他的朋友多次谈到这些。他在写给彭申甫信中说：“窃尝以为无兵不足深忧，无饷不足痛哭，独举目斯世，求一攘利不先、赴义恐后、忠愤耿耿者，不可亟得；或仅得之，而又屈居卑下，往往抑郁不伸，以挫以去以死。而贪饕退缩者，果骧首而上腾、而富贵、而名誉、而老健不死。此其可为浩叹者也。”真正能办事的人沉沦下僚，而当道者都是富贵已足又不办实事的人，每想到这些，怎么能不慨叹呢！
在写给胡林翼的信中他又说：“日与张亮基、江忠源、左宗棠三君子感慨深谈，思欲负山驰河，拯吾乡枯瘠于万一。”但“三四十年来，一种风气：凡凶顽丑类，概优容而待以不死。自谓宽厚载福，而不知万事堕坏于冥昧之中。浸溃以酿今日之流寇，岂复可暗弱宽纵，又令鼠子锋起？”曾国藩有点唐吉诃德的味道，他面对的不是一个人、两个人，而是多少年形成的坏风气。
咸丰三年五月他在写给郭嵩焘的信中说：下月回家祭母，“既已归去，则不欲攘臂再出。所难忘者，与塔参将共练各兵勇，粗有头绪。恐大弦一弛，无人与赓续而榜檠之。其他，则在此不见其多一凫，去此不见其少一雁，自顾吾影，亦赘而已矣。”他把自己说成一个累赘，去之不少，来之不多，道出了他的苦闷与徘徨。他想扔下“帮办团练大臣”回家，但又怕前功尽弃。六月二十五日又曰：“鲍提军到省，即宣言仆不应操练兵士，且将以军棍施之塔将，自以黑白颠倒，不复能忍默。苟扪心自问，诚为君父，不为意气，即物论小有异同，亦难曲曲瞻顾。”
曾国藩腐败官风所困扰，平时如果大臣们优容养望倒也可以，现在国家已经危机四伏，为何还如此没有良心！他说：世事败坏至此，为臣子者独当物色一二忠勇之人，宏济艰难，岂可以使清浊混淆，是非颠倒，遂以忍默者为调停耶！多少年后，曾国藩对他的心腹幕僚赵烈文深有感慨地说，天下事有所激有所逼而成者居多，“起兵亦有激而成。初得旨为团练大臣，借居抚署，欲诛梗令数卒，全军鼓噪入署，几为所戕。因是发愤募勇万人，浸以成军。其时亦好胜而已，不意遂至今日。”赵还说，曾国藩多年来与太平天国斗，只占平生精力十之三四，而与世俗文法斗，占十之六七。实际上，一个敢担重责的人是不避斧钺的。如果处处谨小慎微，那就如同缩头乌龟，根本成不了大事。曾国藩出山之初，一以申韩之术倡，所推行的是敢作敢为，不避嫌怨。他后来多次与兄弟、子侄讲他秉母德人为多，就是遇事敢争。