1852年6月曾国藩被钦命为江西乡试正考官，24日出都，7月25日达到安徽太和县境的小池驿。在这里听到母亲去世的消息。立即取道黄梅，回到家乡。11月，太平军攻陷汉阳。这时朝廷要求曾国藩办理团练的谕旨也下达了湖南省巡抚张亮基处。按照古代的礼制，他的母亲去世，他必须停职丁忧。丁忧又称“丁艰”，又叫“守孝”， 明清时期丁忧规定时间为3年，在这期间，居丧守孝，不能外出做官应酬，不与妻妾同房，不听丝弦音乐，不洗澡、不剃头、不更衣。丁忧期内如果国家有特殊情况，比如战争，需要丁忧官员出来任职，叫做“夺情”。曾国藩是一个理学家，又担任过礼部侍郎，深悉古代礼仪制度，之前江忠源被夺情任职带兵镇压太平军，他还写信劝阻，现在朝廷要夺其情，令他守孝期间负责团练、剿匪，他自然不愿意。
然而形势急转直下，十二月武昌省城失守。正准备上疏恳请在家终制，疏稿已经写好，却接到湖南巡抚张亮基的公函。函中，张亮基告诉曾国藩武汉失守，人心惶恐，恳请他出来主事。好友郭嵩焘又特别到曾国藩家，和他彻夜长谈，力劝他出来保护桑梓。不得已，曾国藩才毁弃前疏，改变了终制的初衷，违背了他所遵守的礼仪制度，于1852年12月17日起行，21日赶到长沙，与张亮基筹商办团练、查办匪徒的事务。这样曾国藩就开始了他的军旅生涯。他的第一件事，就是为自己的事业组织了一个先进的组织，一个干事的平台。对于任何创业者来说，这是至关重要的举措，是成功的基础。
旧制度催生创新
曾国藩是一个改革者。他的改革思想主要体现在两个方面，一是谨慎的改革态度，遵循 “利不十不改革”的传统思想；二是因时适变、与时俱进的改革态度。前者着重于改革的效率，以效率为动力；后者着重于实际需要，旧的制度、措施已经不适应新的事业的需要，阻碍事业的进行，必须推进改革。他认为：
礼俗政教，邦有常典。前贤犹因时适变，不相沿袭，况乎用兵之道随地形贼势而变焉者也，岂有可泥之法，不敝之制？……异日时易世殊，寇乱或兴，若必狃于前事，……凡可得而变革者，正赖后贤相时制宜，因应无方，弥逢前世之失，俾日新而日盛。又乌取夫颛已守常，姝姝焉自悦其故迹，终古而不化哉？
特殊的时代实际、特殊的时代要求，必须推进常规制度的变革。这一思想，充分体现了客观事物运动、变化、发展的客观规律。卓越的领导者的主要职责，就是要适应这种客观规律，并且加以使用，不食古不化，不拘泥前法，不裹足不前。在晚清的那种局面中，曾国藩清楚看到国家军队的不可使用，要想在纷争四起的时代有所建树，必须改弦更张，别开生面，建立一支“呼吸相顾，痛痒相关，赴火同行，蹈汤同往，胜则举杯酒以让功，败则出死力以相救”的新式军队。
努尔哈赤起兵之初，没有形成正规的军队制度，他所依靠的组织是牛录。一个牛录只有10个人，相当于一个班，实行兵民结合、军政结合、耕战结合，战时是兵，非战时是民。这种组织结构作为处于一个氏族、部落狩猎、出师是比较合适的，它实现了战斗力与后勤保障的有机结合，便于动员，便于行动。随着战争的扩大，部落的发展，地盘的拓宽，牛录发展为固山，即旗。分为黄、白、红、蓝四旗。每旗下设5甲喇，每甲喇为5牛录，每牛录300人。1815年，又扩充镶黄、镶白、镶红、镶蓝四旗，合为八旗。皇太极时期因为入关的需要，增设蒙古八旗和汉军八旗。二十四旗中起核心作用的是满洲八旗。
满族人数毕竟少，兵源不足，所以多尔衮执掌军队时，就大力发展绿营兵。绿营兵的主体是改编的明降卒与招募的汉人，属于经制兵。绿营除少数配合驻防八旗拱卫京师以外，绝大部分都驻扎在各地，维护地方安全。京城绿营由步军统领，地方绿营由总督或巡抚掌管，提督和总兵负责操练、征战。绿营分陆营和水师两个兵种，各有马兵、步兵、守兵3个等级。绿营设标、协、营、汛4级。总兵以上的官员统领的绿营兵叫标兵，是绿营的主力，有督标、抚标、提标、镇标、军标、河标、漕标。协，由副将统领；营，由参将、游击、都司、守备统领；汛，由千总、把总统领。
清朝军队经常保有量，旗兵25万，绿营兵65万，总计90万。这是统计数字上的数据，实际上稍微少一些。旗兵、绿营兵创立之初，非常能战，康熙时期平定三藩、北征准格尔，收复台湾使用的主要是绿营兵。自嘉庆至道光，国家相对太平，小战年年有，但是大的战争没有。军队升平日久，刀入匣、弓入库、马放南山，军队战斗力削减。
清朝军队越到后来，制度性弊端越明显。
首先是世袭兵制的落后。世兵制，顾名思义，是世代为兵。一入兵营，代代为兵。就像计划经济时期的国有企业、集体企业，很多都是一家人、两代甚至三代人在一个厂。清朝当兵是牢不可破的铁饭碗，当了兵就可以就业，哪怕是个傻瓜、混蛋、文盲，只要当兵，世代当兵。当兵成为安排就业的捷径，士兵的心思也就在战斗上了。清朝士兵的工资低，一个月只有1两多银子，难以养家糊口，士兵做小生意的不少。士兵做生意去了，哪里还有心思训练呢。于是就出现了一个奇怪的现象，点操、训练，就请当地人代劳；一遇战事，代劳的不愿去送死，就转请流离失所、没有生活保障的流浪汉、乞丐入军。世袭兵制成了国家的负担，临阵打仗毫无用处。
其次是用人制度的紊乱。文官不爱财，武将不惜命，一个国家才有希望。清朝军队的领导者，最高长官是皇帝，地方则是督抚。武官主要是负责训练。文官管理军队，主要管用人。用人又不按照正当的渠道、方式，而是大开后门，大小官员的提拔都要用钱去购买。“千里为官只为财”，混得了一官半职的军队领导者，整个心思用在捞钱之上，军队吃空饷现象严重。在清朝，武职吃空饷得到国家的认可。
自康熙以来，武官即有空名坐粮。雍正八年因为定例：提督空名粮八十分，总兵六十分，副将而下，以次而减，下至千总五分，把总四分，各有名粮。
到乾隆末期，拥有缺额六七万人。这是名正言顺的吃空饷。后来，乾隆将这个数挑补实额，但军队偷偷吃空饷的现象依然存在。国家每年花两千多万两银子用于军队，但军队却“不堪一割之用”。比如，太平军进攻长沙，时任两广总督徐广缙到了衡阳就不前进了，他带着军队在那里休息，不敢去指挥打仗。等到湖南左宗棠他们将太平军赶走后，他才徐徐来到长沙。气得咸丰一纸文书将他免职罢官。
再次是用兵制度的紊乱。“将不知兵，兵不用命。” 一个将军对自己的士兵毫无所知，又怎么能领导好自己的部下呢？造成这种现象的原因归咎于管理的将与兵分离。平时带兵的，不是战时带兵的。当官的不认识当兵的，当兵的也不服当官的管理。尤其好笑的是，遇到军事行动，临时撮合。“当其调兵之时，东抽一百，西拨五十，或此兵而管以彼弁，或楚弁而辖以黔镇。”其结果是遇到危险互不相救，袖手旁观，哆口微笑。
曾国藩深知清朝军队弊端，所以不敢采用这种制度，也不敢用正规军。1853年秋冬，他在衡阳赶造水师战船，朝廷为了加快进度，特意从广东派遣一个姓张的道员带2000广东水勇来衡阳帮忙。曾国藩请湖广总督吴文镕出面协调，要张道员在木材比较多的地方，比如湘潭、常德，或长沙、或湖北另开一局，不和他们共事。
基于对国家军队这种认识，曾国藩在招募湘勇组织军队上，提出了“改弦更张”的新思路。其创新思路主要体现在五个方面：一是组织目标。针对经制兵不团结的现象，提出组织湘军“务期一心一德，生死相顾，庶几联吾同仇之义士，以破逆贼之死党”；“必须万众一心，诸将一气，而后改弦更张，或有成功之一日”。终极目标就是要“保全天下大局”，“冀收澄清之效”。一句话，就是志在消灭太平天国，巩固清朝政权。二是组织创新，在水师陆营建制上有创新。三是选将招勇上有创新。军队的管理制度有创新，强化了湘军的思想教育，建立了一支有文化的军队。四是后勤保障有创新，施行高薪制、后勤保障与作战部队一体化。五是随时创新湘军，能够吸收其他部队的优点，使用最新的武器装备，以及引进西方军队的训练机制。这些内容，在下面的章节中逐渐讲到，这里只是点到为止。
推陈出新的湘军
一个人要想成功，必须有自己的组织。你想赚钱，必须要有自己的公司，靠给别人打工，发不了财。你想按照自己的意愿干事，就必须当老大，做副手就只有听命的份。管别人和被人管，都难以成就事业，即使做了事业，也是别人的。如果你做的不好，挨批的肯定是你。曾国藩的高明之处，就是建立自己的集团公司，给皇帝一个人打工。湘军的创立是一个众人智慧的结果，最初湖南办团练的是江忠源、罗泽南、王鑫，他们三人创立了湘军，但是创建湘军集团，则是曾国藩。要了解湘军集团，先看一下江、罗、王。
江忠源是曾国藩的好朋友，湖南新宁举人。在北京工作期间，一次郭嵩焘带江忠源去见曾国藩，两人谈了一会市井琐事，离开后，曾国藩对好友郭嵩焘说：“京师求如此人才不可得。”又说：“是人必立功名于天下，然当以节义死。”当时天下太平，听到这话的人都很惊异。1837年，新宁的雷再浩起义，被江忠源率领乡人镇压。1839年，李沅发起义，再一次被江忠源的亲友团镇压。组织这次镇压的是刘长佑、刘坤一，后来皆成为湘军名将。1850年，江忠源组织500人，号称“楚勇”，进入广西参加镇压太平军。打了一次胜仗，第二年，增募1000人，在蓑衣渡阻击北上的太平军，击毙南王冯云山，迫使太平军改道围攻长沙，他从郴州往援，逼营督战，城得保全，太平军引而北去。江忠源的楚勇实际是湘军的先导。
罗泽南是湘乡人，著名的理学家，有名的老师，也是曾国藩钦慕已久的贤者，咸丰继位后曾国藩上的几道折子，他们都有书信往来谈论，所以说曾国藩能够大胆上书新帝，也是受到湖南学界的支持的，罗泽南死后，曾国藩将自己的女儿嫁给罗泽南之子。1852年，在湘乡组织乡勇，参加的人有王鑫、李续宾、李续宜、蒋益澧、刘腾鸿、钟近衡、钟近濂、易良干、罗信东、罗振南、谢邦翰、罗信南、杨昌浚等。这些人都是他的学生，罗、王及罗信南各统带一营，号为“湘勇”。湘勇在罗泽南的率领下，转战湖南、湖北、安徽、江西，战功卓著，也人才辈出。罗泽南战死后，由李续宾、李续宜相继负责。
