曾国藩久历官场，明察时弊。

在当时，像他这样有经历、有识见的高级官员是不多的。

他深知，大清王朝的军事支柱——绿营已经腐败。所谓将与将不和，卒与卒不习，胜则相忌，败不相救，各怀携贰，离心离德。因而，其与太平天国作战两年有余，所消耗军饷不可说不多、调集将士不可说不众，而往往未战先遁，从后尾追，而从来没有与之拦头一战的。

所以，他要建立一支新的武装部队。这就是后来人们所称的“湘军”。

曾国藩的湘军纯属私人军队性质。湘军只听命于统帅曾国藩。他亲自选拔、擢用与己有关的血缘、亲缘、乡缘和业缘等关系的亲戚故旧、同乡好友、师生门徒，出任各军统领、营官。如罗泽南、胡林翼、左宗棠是学友；彭玉麟、李鸿章是门生。湘军高级将领中仅鲍超是四川人。鲍超出身行伍，因在重围中拚死救出胡林翼，由此受到青睐。他所率领的霆军也被曾国藩视为湘军正宗部队。

湘军基层也很讲究地域观念。曾氏兄弟的直属部队尤讲究籍贯。曾国荃的“吉”字中营湘军高级中学工作，不仅只选用湘乡人，且尽用今双峰县荷叶塘镇曾家大院周边10里内的人丁。同乡风俗习惯、饮食、言语均相近，不易隔膜湘军高级中学工作，而更大因素是便于指挥、调拨。

曾国藩还规定，凡当兵的都须取具保结，造具府、县、里居所在及本人、父母、兄弟、妻子等名姓，箕斗清册，各结附册，以便清查湘军高级中学工作，便于控制。

所以，湘军在作战中，即使面临困境，也从未出现有临阵叛变的。相反，倒是曾经参加太平军的湘籍将士，后来竟有不少投诚过来的。