曾纪泽之所以要带李鸿章去安徽合肥招兵买马，是因为安徽合肥是李鸿章的老家，他的亲朋好友都在那里，李鸿章在曾国藩府上待了几年之后，为人更加成熟，名声自然在外，很多人都知道有李鸿章这号人物。加上曾国藩收复安庆，安徽团练对曾家军无不刮目相看，听说曾国藩的儿子曾纪泽亲自来招人，没有费多大心力便卓有成效。安徽当地那些兵勇也是一呼百应，纷纷聚集到曾纪泽的手下。

曾纪泽的幕僚，除了李鸿章，还有王闿运。王闿运劝说肃顺干掉慈禧失败后，就对他失望了，在曾纪泽北上勤王那段时间，他对曾纪泽的野心刮目相看，投在他的门下。

曾纪泽还带王闿运到安庆去见曾国藩，劝说曾国藩自立，但也失败了，便继续辅佐曾纪泽。

在王闿运和李鸿章的帮助下，曾纪泽将合肥西乡里的一些比较有名的团练都聚集在一起，这些比较有名的民办团练负责人有周公山下的张树声、张树珊兄弟，大潜山北的刘铭传，大潜山西南的唐氏兄弟，紫蓬山的周氏兄弟等。除此之外，还有解先亮、叶志超等人领导的官办团练。而在这些团练中，最善于打仗的是张氏兄弟、刘铭传和周氏兄弟的三支。曾纪泽对这些人很满意，尤其是豪气干云的刘铭传、张树声，觉得和他们意气相投。

张树声也是曾国藩让曾纪泽重点关注的人才。张树声听说李鸿章辅佐曾国藩，曾写信给曾国藩表达过自己的豪情壮志，说他有意和周氏兄弟、刘铭传一起做出点惊天动地的大事，请曾国藩加以指导。

曾国藩看了张树声写的信后，对曾纪泽说：“张树声此人，观其言，察其行，就好比渡江北伐匈奴的东晋名将祖逖。”

由于张树生的年龄在这三支团练的领导人中最长，因此他是其他两人的大哥。所以张树生对曾国藩表示了投效之意后，大家也都纷纷表示赞成。

曾国藩通过写信或派人联络等办法，征召庐州一带旧有的团练，给曾纪泽打下来良好的基础。

曾纪泽在安庆召集的团练中，最早编练的就是张树生统率的树字营和刘铭传统率的铭字营。不久之后，周氏兄弟的盛字营和李鹤章招募的人也纷纷聚集在曾纪泽的手下。至于李鸿章的学生潘鼎新、吴长庆，他们的队伍则分别被编为鼎字营、庆字营。

由于多方的配合，在短短的两个月之内，曾纪泽就成军数营，曾纪泽给他们配上了洋枪和开花炮，加上之前先练的洋枪队和洋炮队，二十三岁的曾纪泽独当一面指挥的队伍，成了湘军当中的精锐。

不久，曾纪泽和李鸿章所募淮勇陆陆续续抵达安庆，其中有张树声的树字营，刘铭传的铭字营，潘鼎新的鼎字营，吴长庆的庆字营等。其中，除了树、铭、鼎、庆等四营外，还有张遇春统领的春字营，它属于李鸿章在皖北办理团练的旧部，现在重新归李鸿章指挥。

树、铭、鼎、庆等各支队伍在安庆聚集之后，曾国藩按例提出要接见这些团练的头目。一来给曾纪泽的队伍打打气，二来观察一下这些淮勇将领，他善于看面相。

曾纪泽很高兴，率领部属驻扎在安庆北门城外，亲自带刘铭传和张树声等人进城里见曾国藩道贺。

当张树声和刘铭传等十几个主要团练负责人来到曾国藩的大厅之后，曾国藩躲在屏风后面一直不出来，却暗中观察各人的反应。

张树生反应最平淡，面无不悦之色，低头喝茶。

“这个曾国藩，是不是官做大了，给我们摆起谱来了。”而刘铭传则早已丧失耐心，道。要不是看在曾纪泽的面子上，依照自己的倔脾气，刘铭传早就破口大骂了。

经过一番观察，曾国藩认为张树声和刘铭传都是不可多得的将才，因此出来与他们见面后，说：“诸君皆人杰也，今日之会，天其有意致中兴乎？”

于是，曾国藩让曾纪泽特别留意张树声和刘铭传，还留他们一起就餐，在餐桌上畅谈用兵的方法以及怎样镇压太平军的计划。

曾纪泽招来的人马大部分是新勇，缺乏实际的作战经验，而且人数相对李秀成的三四十万大军来说也不多，保护上海是备显艰难。

李鸿章不想去上海送死，因此他向老师曾国藩诉说了这些困难，并且恳请曾国藩调拨数营湘勇，以增强战斗力。

曾国藩考虑一段时间之后，答应了李鸿章的请求，陆续给曾纪泽和李鸿章调拨了湘勇八营。这八营湘勇，包括曾国藩的两营亲兵，由*曾纪泽亲自统领，充当曾纪泽的亲兵；还有借自曾国荃的两营湘勇，归程学启统带；由滕嗣林、滕嗣武统带的林字两营，原为江苏巡抚薛焕在湖南招募，经曾国藩筛选千人，编入淮军；还有陈飞熊统带的熊字营、马先槐统带的垣字营，这两营湘勇原本是曾国藩在湖南召集而来，归陈士杰统领，但是由于陈士杰不愿前往上海，因此这两营兵勇拨归淮军。就这样，曾纪泽带去上海的军队一共15个营，共有9500人。

从此以后，曾纪泽有了一支属于自己领导的武装，从此名正言顺登上了历史的舞台。

曾纪泽组建淮军，虽然在曾国藩的支持下比较顺利，但是也遇到了很多困难，比如军心不稳；粮饷不够，但总的说来，淮军的建立对于曾国藩来说是利大于弊，它不仅壮大了湘军的力量，还让曾纪泽拥有了兵权，并且对镇压太平军、捻军等都起到了很大的作用。