练军队是曾国藩的第一项任务。曾国藩在向两宫皇太后请训的那一天，上过一个“略陈直隶应办事宜”的奏折，其中第一条说的就是练军队的事情。长期以来，特别是第二次鸦片战争以来，直隶的军队衰弱不可用，防务十分空虚。剿捻战争时，西捻军曾冲入直隶一带，直隶根本无可与捻军一战的军队，全靠外调来的军队，清廷不希望再发生这样的事情。另一方面，京师离海较近，两次鸦片战争中，英、法军队随时可到天津海口骚扰、威胁，而1860年又占领京师，因此直隶急需较有战斗力的军队。
怎样训练、充实直隶的军队呢？
曾国藩先要借重的是淮军。
曾国藩认为，淮军中最好的将领是刘铭传，其所率铭军的战斗力也是淮军中最强的。因此，他要用刘铭传所部铭军一万多人拱卫京师。当时刘铭传因为朝廷对剿捻战功的奖赏不公，愤而告病在家，清政府中有人主张战事既已结束，应将勇兵包括刘铭传所部全部裁撤；有的人主张另派统领。曾国藩坚持不另派统领，不裁撤铭军，暂由刘铭传部下刘盛藻统带。
但是刘铭传一军只有一万多人，实力尚觉不足，曾国藩认为至少还需要一万军队。这一万军队不能再靠湘淮军，须另外训练军队，这就是从绿营中抽出来的练军。
练军是1863年由前直隶总督、湘军大将刘长佑开始编练的。
清代的军队，原来主要是八旗和绿营。八旗兵由于长期不事生产，养尊处优，到曾国藩的时候已经完全失去了军队的功能，只是一种清朝统治的象征而已。绿营在清初至清中叶曾经多次立过战功。但清中期以后，绿营也不行了。绿营几乎不讲编制，军队平时散住各地，士兵常充各种杂役，或承担维持地方治安的任务，有战争时，从此处抽调五十人，彼初抽调一百人，杂凑起一支军队，临时派统帅指挥。兵与兵之间、将与兵之间甚至互不相识。败不相救，胜则争功。所以，这绿营号称国家的经制之兵即正规军，实际上根本不是正规军，而是一种地方警察性质的军事组织而已，第一次鸦片战争、与太平天国的战争，完全暴露了绿营组织制度的弊病。而曾国藩创办湘军，就是针对绿营的弱点，改变了它的组织制度、训练方法、饷章，使名义上为地方民兵性质的湘军以及后来的淮军，成为实际上的正规军、野战军。这在本书前面已经说过。
1863年，湘军宿将刘长佑出任直隶总督，他奏请从绿营中挑选精壮，重新组练一支军队。其组织制度多仿效湘军，由刘长佑从各镇军中挑选营官，由营官在他原来所辖的军中挑选士兵，不足则到附近其他军队中挑选，五百人为一营，二千五百人为一军。到1865年，户部与兵部会议，选练直隶六支军队，定名“练军”。但练兵之事常受户部及京中忌妒湘军的官员的掣肘，而1867年刘长佑又被免职，所以成就还不大。
到了曾国藩任直隶总督的时候，战争已经结束，财政状况比过去稍稍好转一些，而直隶当由海入京通道，列强虎视眈眈的情形下，必须有得力的军队才行，在这种情形下，曾国藩有可能较多地改革军队。曾国藩的办法，仍是编练练军，而不是振兴绿营，在他的心目中，绿营的制度实在已经无法振兴。
接任三个半月后，曾国藩初步了解了情况，提出三条建议：
第一条，叫“文法宜简”。他比较湘军和绿营兵的差别说，湘军勇丁“帕首短衣，朴诚耐苦，但讲实际，不事虚文。营规只有数条，此外别无文告。管辖只论差事，不甚计较官阶。而挖濠筑垒刻日而告成，运米、搬柴崇朝而集事”。绿营兵则过分讲求仪式礼节，好像不是军队而是官衙门。出征的时候，行军要用官车，扎营要用民夫劳作，“油滑偷惰，积习使然”。先前所定的练军规条有一百五十余条之多，即使是读书人也无法完全记住，导致“文法太繁，官气太重”。这些都要参照勇营即湘军的办法加以改革，将条规简化，做到简明、易懂、易守，不要排场，不要官气。
第二条，叫“事权宜专”。从前的练军，仍然效仿绿营的办法，统领经常更换，统领之下的营、哨各官，都是由总督指派而不是由统领选拔。统领没有选拔和撤换下属之权，没有管理军饷之权，一旦作战，下属不肯用命。现在要像湘军一样，一营之权，全部交给营官，统领不遥制；一军之权，全部交给统领，大帅不遥制。他说湘军统领所以能够发挥其才干，就在于事权归一，指挥纵横如意，练军就是要仿效这个办法。
第三条，叫“情意宜恰”。曾国藩说，现在练军士兵离开他原绿营的队伍，但是是否挑入练军是由其原绿营的营官主持的，而不是练军的营官挑选的。主持练军的营官，没有对士兵的提拔和黜革之权，上下隔阂，情意全不相连，当有紧急事变时就不可靠。还有，各营练军，有冒名顶替之弊，防不胜防。因为从前绿营军饷较少，士兵常常要做小贩或手艺谋生。练军士兵调到别处训练的练饷二两四钱，在练营领取；而原绿营的底饷，仍在绿营本营领取。士兵便常常在练营附近雇人顶替，将练军军饷，给冒名顶替的人。但是一有远征，受雇的人不肯随着远征，于是再雇乞丐、贫民前往。这样兵额一个，但人已三变，怎么能打仗？今后将实行两个办法：一是一旦一个士兵挑入练军，即将其原在绿营的名额裁去，练军增一兵，绿营底营即少一兵，二是无论绿营底饷还是练饷，都在练军发放，根本杜绝冒名顶替。这样做实际上是逐渐取消绿营。将来还要仿效湘军的办法，统领选营官，营官选哨官，哨官选什长，什长选勇丁。
按照曾国藩拟订的这三条，练军的体制更接近湘淮军了。
半年以后，八月二十七日（1869年10月2日），曾国藩又奏定按照湘军的制度，为练军设立长夫之制。每营练军设长夫一百五十人，这一百五十人实际上就是辎重和后勤兵。每月拔营一次，实际就是我们今天说的军事演习。拔营要行二三百里，命士兵像实战那样修垒挖濠，不准像以前绿营那样出行坐车。第二年四月（1870年5月），曾国藩又拟订了《直隶练军步队营制》和《直隶练军马队营制》，其中马队完全抛开绿营，从直隶省农民中选募。
由于经费并不充足，曾国藩最初只能练三千余人，三个统领，两个用当地军官，一个用以前湘军的军官彭楚汉。
直隶练军人数不多，但影响却很大。在曾国藩的组织领导和筹划之下，练军的制度基本成型了，而其本质的变化，就是采用湘淮军的制度。当时各省的绿营已不能再作为作战部队，这已是人所共见的事实，但是各省督抚苦于绿营是国家的“经制”之兵，不好裁撤，也不知如何改造。直隶编练练军之后，各省纷纷仿效，于是同治朝以后，绿营逐渐消亡。另一方面，镇压太平天国和捻军的战争结束以后，湘淮军及各省招募的勇营，除部分裁撤外，都驻防全国各要地，改称为“防军”。于是有清一代的八旗和绿营军制，实际上已经消亡，这也许是曾国藩所始料不及的。曾国藩去世以后，防军、练军曾参加过两次较大规模的反侵略战争，即中法战争和中日甲午战争。有关军制的变革，本书后面讲到曾国藩的影响时还要作系统介绍。