团练大臣是19世纪中期清廷为了镇压太平军和捻军，在特定条件下的产物。
江西新城人陈孚恩，原为刑部尚书，咸丰元年（1850），因“失仪”革职留任，后以“亲老多病”，奏准开缺回籍侍养。咸丰二年（1852）七月，以捐助军饷议叙。九月，太平军“窜扰江西”，受命帮办团防事务。之后两年的办团期间，曾率练勇二守省城南昌，一解省城南昌之围。
从委派二人办理团练的谕令可知，委任在籍大员帮同地方官办理本籍团练事宜的初衷，在于本籍绅士对本籍地势夷险、地方人情、团练保卫“自必熟悉”，可使“布置周详”，并“使官民联为一气”。谕令中十分明确的一点是“帮同地方官办理”，而“使官民联为一气”。
随之，咸丰二年（1852）年内，有湖南湘乡丁忧在籍的前礼部侍郎曾国藩、已致仕（退休）而侨寓皖北的前漕运总督周天爵、江苏无锡因救援全州不利被褫职还籍的前广西巡抚邹鸣鹤等先后被委派帮同办理团练防堵事宜。由于后来湘军的崛起，其中曾国藩最为有名。
曾国藩办理团练有两个显著特点：1、曾国藩办理团练的名言是：“重在团，不重在练”。
他认为团练的“团”，实际就是保甲之法：“团与保甲名虽不同，实则一事。近人强为区别，谓操练技艺、出队防剿者，即为团练；不操技艺，专清内奸者，即名保甲，不知王荆公初立保甲之时，本曰民兵，本尚操练。”“齐心合力，以一族之父兄治一族之子弟，以一方之良民，办一方之匪徒，匪类去尽，则善良安生，乃所以为团也。”而“练”，则是保甲军事功能的进一步发挥：必“制器械、造旗帜、请教师、拣丁壮，或数日一会，或一月一会，又或厚筑碉堡，聚立山寨，皆大有兴举”。
2、在规整现有团练的基础上，抽练一支不同于腐败无用绿营军的新军——勇营。并率勇出战，参与对太平军捻军等所谓“匪寇”的攻防堵截。
曾国藩他们认为“团练”可分为“团勇”与“练勇”。团勇是各乡团家出壮丁组成，守望相助、有警则守卡打仗助阵的非常设民众武装；练勇，是招募四方精锐而成，日事训练、有警则调发守卡打仗的常设专业武装。
曾国藩则以钦差帮同办理团练的朝廷大员及本籍缙绅的双重身份，在咸丰三年（1852）初剿平“桂东土匪”、驰援江西南昌等战事之中，调集家乡这些已有的各支练勇参与征战，在征战之中组合，并进一步与部分绿营军和新募之勇再组合，成为一支作为湘军前身的新的武装——湘勇。
曾国藩本人否认这支新的武装是团练。他十分清醒、准确地界定自己所办的是“官勇”：“臣自咸丰二年奉旨办团，初次折内即奏明自行练勇一千，是臣所办者乃官勇非团丁也”。
曾国藩等人之后，至咸丰十一年（1861）为止，咸丰帝又直接委派了一百余名办理团练的人员。由于这些人员后来有的加“办理团练”衔、“协理团练衔”，有的直接冠以“团练大臣”，又由于这些人员均为皇帝“钦点”，后人习惯上统称他们为“团练大臣”。
咸丰三年（1853），太平天国自武汉东下江宁定都天京，如催枯拉朽，扫荡了大江南北广大地区。咸丰帝直接委派办理团练防剿事宜人员达58人，遍及安徽、江苏、河南、山东、直隶、江西、贵州、福建、湖南等9省。
此次咸丰帝委派办理团练人员有以下特点：1、所派主要办理团练防剿人员（按：表中标出的主办人员）全为朝廷大员，包括各部侍郎、内阁学士、御史、总督、巡抚、布政使、按察使、知府等。其中有在职和非在职之分。在职官员如安徽籍工部侍郎兼署刑部侍郎吕贤基、内阁学士许乃钊等。非在职官员如江苏在籍之前任左都御史沈岐、直隶在籍之前任兵部侍郎孙葆元等。不少非在职官员受命办理团练防剿后实授官职，成为在职官员。这是从咸丰二年（1852）沿袭下来的做法。而京员受命办理督办或帮办某地团练防剿，也往往授与当地实职，如兵科给事中袁甲三赴皖北后不久，先署安徽庐凤颍道，后署安徽布政使（辞而未受），最后以左都御史钦差大臣统领皖北军务等。上述办理团练人员由于系皇帝“钦点”，更有“钦差”的身份。
2、办理团练人员的委派不受“回避法”限制。清代铨选授官的制度规定，有七项必须核查无讹，方许补授官缺。其中“密其回避”一项，规定户部14司、刑部17司、御史15道、督抚以下至佐杂，皆须回避本籍，以防上下勾结、弄权舞弊，把持一方。此次办理团练人员的委派却恰恰相反，绝大多数是令其“回籍”，“就其本籍”，办理或督办团练防剿。
3、委派办理团练人员的谕令中，没有了“帮同”地方官办理的字样，除委派工部侍郎兼署刑部侍郎吕贤基等回安徽本籍办团的谕令是“会同”安徽巡抚办理团练军务事宜、委派前任左都御史沈岐等在江苏本籍办团的谕令是“会同地方官邀集众绅士酌办”团练事宜以外，绝大多数直接便是“督办”或“办理”某省某地团练事宜。
4、“逼近贼氛”的重要省份如安徽，更分别委派主办人员与分办人员，主办人员并奏请随带本籍得力京员人等同往帮办，或奏请“饬调文武员弁以资差遣”，均依奏允准或饬调。
咸丰三年（1853），咸丰帝委派的办理团练人员，特别是主办人员，虽然没有“团练大臣”的正式名称和任命，但其既有“督办”或“办理”某省团练防剿事宜的职权重任，又有“钦差”大员的身份地位，直可以称之为“团练大臣”了。事实上，民间也已这样称呼他们，如桐城绅民即称吕贤基为“钦差办理团练大臣”等。而且，主办人员随时奏请随带本籍得力京员人等同往帮办，或奏请“饬调文武员弁以资差遣”，均得到了咸丰帝允准，从而在安徽首次分别委派了主办人员、分办人员、帮办人员与听从差委人员。
咸丰三年（1853）正月，受命主办安徽团练防剿事宜的是工部侍郎吕贤基和已在皖北团练防剿的前漕运总督周天爵。这两位相当于人们心目中的安徽团练大臣。特别是吕贤基，时人及后人文中多即称他为安徽团练大臣。
分办人员，有二月吕贤基到达安徽后，咸丰帝委派的前任江南河道总督潘锡恩，他奉旨回原籍，专任皖南太平府地区的捐输团练事务。又有四月吕贤基奏请饬令委派的兵科给事中袁甲三和广东潮州府遗缺知府赵畇，前者赴凤阳，后者赴本籍安庆，分别专任皖北、皖中的团练防剿事宜。
帮办人员，是吕贤基受命办理安徽团练时（正月）即奏请随带帮同办理的徽籍京员翰林院编修李鸿章、刑部员外郎孙家泰、候补主事朱麟祺，五品衔武生张瑞庆及咸丰谕令“随同吕贤基帮办一切事宜”的在籍前任东河通判徐启山。
听候差委人员，则是周天爵遵旨筹办防剿时（正月），咸丰帝依其奏请从各地饬调、令速赴安徽军营的江南淮北监掣同知李安中、江苏宿迁县知县候补同知林德泉等八名文武员弁。
除此之外，十一月，咸丰帝又准李鸿章之父刑部郎中李文安回籍“督率练勇，协力防剿”，同时令吕贤基之子翰林院侍读吕锦文回籍帮同剿贼。其时，吕贤基已于舒城殉职。而李文安不久也在办团之余因饮酒过量而一命呜呼。
事实上，咸丰三年（1853）以吕贤基、周天爵为首奉旨办理安徽团练的人员虽然不少，也有主办、分办、帮办及听候差委之分，但这些人员并未形成一个整体，并未形成一个统一领导或统一办理安徽团练事宜的班子，基本上是各行其是。其中，有以下几个类型。
第一种类型是吕贤基——虽回原籍，却没有回到老家实地办理团练。
吕贤基的老家是皖南宁国府旌德县，作为安徽全省团练防剿事宜的主办人员，他虽回安徽原籍，却没有回到皖南旌德老家具体办理家乡的团练，而是于咸丰三年（1853）二月驻守皖北重镇宿州，遵旨“会同巡抚蒋文庆、前署广西巡抚周天爵”办理安徽“防剿事宜”并“督办团练”。
第二种类型是李鸿章、孙家泰、赵畇、潘锡恩等。他们切实回到了老家办理团练。
李鸿章一类其全部行为的重点，在于集勇并率勇出战，参与攻防军务。潘锡恩一类往往是以公济私，借办团练自保或发展自己的势力。真正需要出战时，则“逃遁”或“托病藏匿”了。
第三种类型是周天爵、袁甲三——以带勇防剿为主，实际成为统筹一方军务的统帅。
受命办理皖北团练防剿的周天爵、袁甲三都非皖籍。之所以任用他们，与任用本籍人办理本籍团练的思路不能说全然抵牾，因为前者长期侨居皖北；后者本籍河南项城系皖北近邻，与皖北的情况相差不大。而也许由于整个皖北均罹于捻军战火；皖北各基层社会实体组织大姓大族或团练或捻军营垒分明；周、袁二人毕竟不是安徽本籍人，无法也无须在当地自办团练，于是团练、防剿二事之中偏重于防剿，形成了这一类办理团练人员的特点。
1、周天爵、袁甲三以防剿、军务为首要职责。
二人均曾以“剿办捻匪正当吃紧，一署地方，限于职守，剿匪事宜转恐贻误”为由，先后辞署安徽巡抚、署安徽布政使等地方政职，专力防剿。其中袁甲三自咸丰三年（1853）四月赴皖北，至同治元年（1862）七月因病重开缺回籍，除有短暂数月在京供职外，一直皖北河南号令兵勇，“防剿”共近10年，终以钦差大臣 “督办皖省军务”。
2、与吕贤基不同，周天爵、袁甲三手中掌握了一支以“勇”为主的武装。
如前所述，周天爵于咸丰二年（1852）底即受命办理安徽团练防剿。咸丰三年（1853）正月，他奏准将宿迁举人臧纡青《团练章程》“通饬”山东、河南、皖北、苏北“遵照办理”，从各地各团调集练勇，直接掌握；同时在宿州等地招募壮勇，得旧捻张凤山部1200余名，组成了一支以练勇、壮勇、旧捻为主的武装。按照基层社会“低度军事化”的思路，这支武装应该是临时性的，战事一毕，即应遣散，有记载“周天爵所募壮勇经裁汰后所存亦止数百名，不敷调遣”。周天爵也确实为此苦恼，他甚至曾因“募勇又复遣散，致招物议”，“辄自请斥退”；又曾因屡被裁汰，一次“赴颍”攻剿，“仅带兵二百”。但从后来事态的发展可知，清统治者在皖北的攻剿越来越离不开这支武装，周天爵所募亲信练勇成为“或百人或千人，自成一队”，“何处持重，即督率前往防剿”的主力。咸丰帝亦多次指出：“朕所素知此时江北一带，惟该侍郎（周天爵）尚能办贼党。”“皖省兵力尚单，他省亦难征调，惟周天爵带领兵勇可以移缓就急”。
咸丰三年（1853）四月，兵科给事中袁甲三来到皖北帮办团练防剿。时周天爵已年过八十，当年九月卒于亳州王市集军中，命袁甲三代领其众。从此，袁甲三成为皖北地区团练防剿的主办人员。袁甲三到王市集时，“兵勇已散，民无固志”，捻党进据孙家店。袁甲三“收集散勇，饬乡团扼要隘，遣游击朱连泰等击贼高公庙，大破之。”实际掌握了这支原属周天爵的以练勇、壮勇、旧捻为主的武装，后又在征战中不断调勇募勇，充实扩大之，甚至命长子翰林院编修袁保恒，将其父子在河南本籍本乡本族倡办团练而得的 3000勇也带入军中，成为这支武装的骨干。
3、作为办理皖北团练防剿钦差大员，周天爵、袁甲三能够调动团练、号令官兵，指挥防堵攻战。
袁甲三并能够号令上层政权结构的各支经制军队，统一指挥官兵团勇，统筹全部军务。
袁甲三更能弹劾在防剿中不力的各级官员。如弹劾舒兴阿“拥兵坐视，致庐州陷”，使舒兴阿被撤职；弹劾护理庐凤道立诚“巧猾贪鄙、劣迹昭著”，请革职提讯等。
4周天爵、袁甲三，特别是袁甲三在皖北显露出权力膨胀、尾大不掉的端倪。
袁甲三经常越俎建言，指手划脚地教训咸丰帝应敕命何地何官如何防堵。对于咸丰帝的号令有时却拒不遵从。
如太平军连下集贤关、桐城、舒城，旄头直指安庆陷落后已成安徽首府的庐州府。咸丰帝命袁甲三从颍州移师桐城，救保庐州。袁甲三拒不受命，托词“捻逆张茂踞怀蒙间，称伪西怀王，窥庐郡。非臣亲往督剿，人心愈摇，应先赴蒙、亳一带，为各郡声援，以便闻警驰应”。
又如捻军占永城后，袁甲三奏言：捻军必从永城窜宿州、趋徐州，徐州为粮台要地，急应严防。咸丰帝于是命他“确探贼踪，迎头截剿”。袁甲三追到萧县，却改变了注意，又奏称：贼踪飘忽，徐州镇道兵勇足剿土匪，“臣应折回宿州，严堵南路窜匪”。而后不待旨令，竟引兵扬长而还。咸丰帝极其恼火。安徽最高地方官督抚和春、福济并联衔疏劾袁甲三“株守临淮，粉饰军情，擅截饷银，冒销肥己”等。
如果说，大敌当前，咸丰帝对这些尚可容忍，那么，咸丰帝最不能容忍的是袁甲三竟然想擅自决定皖北地方官的人事安排。他疏请将宿州知州郭世亨开缺，办理军务，而以王启秀代之。咸丰帝命他“与和春、福济妥商具奏”。但他根本不把和春、福济放在眼中，更不与之会衔妥商，又再三单独疏言此事。咸丰帝怒道：朕以调署牧令必须与督抚会衔，并非不准袁甲三与闻举劾，袁甲三却只称往返函商，仍不联衔具奏，“袁甲三著传旨申饬，仍著福济会同和春、袁甲三详细酌度办理。”
袁甲三在其“防剿”区域对捻军等独擅生杀大权，更是天经地义。这与他的前任周天爵如出一辙。时周天爵在宿州“杀人遏乱，河水尽赤，断残塞道，豺虎厌肉，岸无不悬头之树，树无不悬头之枝，远望离离，骡马望之返奔”。咸丰帝惟有小心寄谕周天爵：“辄用极刑，恐人心涣散，亦足召乱”，令其加倍慎重。袁甲三则毫无顾忌，攻破临淮关后，则以“抗违日久”为由，令将捻军 70岁以下，15岁以上尽诛之，已降的数千捻军，“亦无得脱者”。下凤阳后，袁甲三“于城外别筑七营，尽驱两城降贼入，择尤悍者三百余人诛之，余皆遣散。”等等。
咸丰三年（1853），由于首当“敌”冲的特殊地位，安徽办理团练人员和办理团练事宜受到了以咸丰帝为首多方面的重视，尽管如此，总的成效却仍差强人意。其他地区受命办理团练人员中，在籍非在职的多，在职回籍的少；具体实施办团中，普遍号召多，严格控制少，其效果则更不可问。
咸丰六年、七年（1856、1857），咸丰帝第二次大规模地直接委派办理团练防剿人员。
此次委派办理团练防剿事宜人员主要集中在最当战火冲要的安徽江苏两省。而所委派的办理团练防剿事宜人员，除两例为“以资熟手”且声明“嗣后不得援以为例”是本籍人员外，全都是现任或“已革”（仍在现任）的非本籍官员。
值得注意的是，除专人专任外，特别规定各级官员全部加入办团行列，以原官僚体系为基础，构筑了办理团练的整体机构。如安徽，最高一层是现任巡抚福济、已革巡抚张芾，二人分别统理调度皖北皖中以及皖南团练事宜；第二层是现任按察使、现任庐凤颍道道员、现任徽宁道道员，均加“督办团练”衔，分统稽查安庐六滁和五府州、凤颍泗三府州及徽宁池太广五府州团练事宜；第三层是现任各知府及各直隶州知州，均加“协理团练”衔，督办各属团练；最下一层是现任各知县及各府属州知州，专管本属团练，绩优者加“协理团练”衔。
可知，清统治者的方针似乎转了回去，从创行以在职非在职的本籍官员办理团练，转由非本籍的现任官员办理团练，究其缘由，是咸丰六年（1856）朝臣对数年来办团状况的一次检讨。
他们援引古制，列举唐朝乾元初曾置团练使，大者领十州小者三五州，代宗时命刺史悉带团练使；宋朝置诸州团练使；元朝置团练安抚亲农使；明朝以团练诸务设安插使兵备道分统之等，提出“与其别设一官，不如仿唐时刺史带团练之制”，令知府直隶州知州兼行办理团练。至按察使兵备道，明朝本即分统团练使事务，今应仍兼团练。“请以按察史及各项道员均兼督办团练衔，知府直隶州知州均兼督办团练衔，统率州县实力团练。其有地方辽阔，按察史道员不敷分辖者，准添设三四品官员分督团练带兵防御率属巡查”，“其添设之员或请旨简放，或由该督抚保奏，候旨录用，各以本官兼督办团练衔。”同时，提出了整顿事宜章程。中有：一近贼之州县分上冲、次冲。上冲者，附近军营由营拨兵协守，即归管带，不另派将弁，以一事权。如贼匪大兵冲突，统兵大臣仍需遣将驰救。次冲者，则团练乡兵协同该营汛防守，以省兵力而免烦扰。残破州县及甫经收复之城，民人迁徙，空虚无凭，团练应于附近完善州县或本境完善村庄为团练立脚之地，然后招集流亡，渐次推行。仍由地方官保举公正绅士为团总团长，立功者即予奏奖。
一训练事宜责成州县会同营弁办理。督办团练及协理团练之员巡行校阅，分别劝惩。
一见办团练之上冲、次冲府州县一应捐输署杂派悉予蠲免……此方所捐专为此方之用……各处处所责成各该府州县拿获奸细，审明后即行正法。其有奸民偷卖火药米粮接济贼营及团勇扰害良民抢掠行凶情同盗匪者均即行正法。
一司道中营亦何人兼团练何员分辖何地使各有专责，应请旨饬下督抚酌量情形奏明办理，其州县有屡次立功升至知府或同知直隶州者，准其兼协理团练衔，以示优异而资得力。
一司道既兼团练，由附近军营或本省督抚拨给兵练，以资巡守，军务告竣，酌量裁撤。此项兵练毋庸设为定额。
一州县既各有团练之责，断非常材所能胜任。请饬下各督抚慎选守令，据实保奏。凡上冲次冲之地，不拘资格务在得人，行之一年，皇上即可以所保之优劣，定督抚之贤否，以行赏罚。等等。
咸丰帝以为，“逆匪飘忽靡常，官兵征调有数，团练得力，则人自为战，家自为守”，以上军机大臣等所议于当前“防剿机宜颇中切要”。他一针见血地指出：这实际是“抑民助兵，以堵为剿”，而“制贼之法未有善于此者”。他强调： “至州县为亲民之官，团练起于州县，民之向背，视州县之贤愚……”而“欲行团练”，仍然“必先严保甲”。他承诺：“所属之员及绅民之充团总团长者，如能实力办理、著有成效，准各督抚据实保奏，朕必立予恩施。”
咸丰十年（1860），江南大营被彻底粉碎。咸丰帝无兵无饷，心急如焚，团练武装成了他救命的稻草。他谕令胜保在皖北等地等督办乡团以资统率，并酌定章程，凡办团州县一律遵行。又谕：各直省“在籍绅士，除已经办理团练外，其明晓大义、律身公正者，自不乏人，所有在京直隶、江苏、安徽、浙江、河南等省之大小官员，将如何举行乡团，随同官兵剿贼，及防守等一切事宜，各举所知，各陈所见，迅即上闻。”大小官员遵照谕旨，纷纷上疏陈言，总结办团经验，拟呈办团章程。
咸丰十年（1860），咸丰帝第三次大规模地直接向地方委派办理团练防剿事宜人员。
这一次直接委派各地办团人员有两种情况：1、多数省份委派本籍官员（回籍现任官员或在籍前任官员）主办。在这里，“团练大臣”的官职正式出台——称“某地督办团练大臣”。而协办人员以现任地方官（非本籍）为主。又另派听候差委人员。如江苏。江苏本籍大理寺卿晏端书为“江北督办团练大臣”；江苏在籍内阁学士庞锺璐为“江南督办团练大臣”。现任江苏淮徐道道员吴棠帮办江北团练事宜；现任江苏按察史汤云松帮办江南团练事宜；现任署江苏布政使吴熙帮办江苏团练事宜（以上均非江苏籍）。听候差委人员有江苏本籍现任翰林院编修沈锡庆、现任刑部主事李汝钧（随办文案）及非江苏籍现任江苏淮扬道朱善张等。
2、少数省份仍委派现任地方督抚（非本籍）主办，不称“团练大臣”，但令“督办”某地一切团练事宜。协办人员以本籍官员（回籍或在籍）为主，也有低一级的地方官。如甘肃。现任陕甘总督乐斌督办甘肃省团练事宜。帮办人员有甘肃本籍江西候补道杨升、丁忧刑部员外郎吴可读及非甘肃籍现任甘凉道道员萧浚兰等。
此次大规模派遣办团人员所遵循的原则，大致是第一、二次大规模派遣办团人员原则的折衷，所派人员既多且杂，各类人员硬性或机械地搭配组合，各按各的指导思想行事，办理团练的情况实际上更为混乱和复杂。
于是，《东华续录》有载，咸丰十一年（1861），内外大臣交相上疏：“乡团之设，原以百姓之财力，卫百姓之身家”，果能众志成城、同仇敌忾，即以举、贡、生、监便足以统领之，没有必要派大员为之督率。“若必以大僚综任之，帮办司员分理之，是督抚之外又设督抚，僚属之外又增僚属，徒滋纷扰”。自上年河南办团后，各省团练大臣纷纷四出，虽然四川、浙江旋即裁撤，但直隶、山东、江南、江北等处仍归团练大臣办理。这些团练大臣、帮办人员“假公济私，百端纷扰，或逼勒州县供应，或苛派民间银钱，或于官设捐局之外，团练再设捐局，或于官抽厘金之外，团练再抽厘金”。且“江北江南所办乡团，自上年至今，未闻有团练大臣收复一州一县者，徒以骚动天下，无益有损”。他们力主“将团练大臣分别裁撤”，“其各省州县距贼较远者，停止办团，以安民业；其距贼较近之处，仍责地方官切实办团，而以本省督抚总其成，庶事权不至纷歧，商民可免滋扰”。
咸丰十一年（1861）四月，奉旨帮同浙江巡抚办理团练、在籍都察院左副都御史王履谦奏称：浙省团练自归现任巡抚王有龄督办，并未定有章程。王有龄将私亲、故旧及结拜师生品行卑鄙善于逢迎之道员张景渠、知府孙士达、知县甘应槐依为心腹，委以要职，以致文武员弁奔走其门，物议沸腾。张孙甘等依势修怨，绅富多被中伤，以致遇有地方公事，顾虑不前。王有龄派段光清赴绍办团，并不知会王履谦。其各处办团绅士，亦任听张景渠等“纷纷札委”。“亩捐”一项本系奏明专为团练经费，被张景渠擅自出示停止，浙东捐款又悉数解省，团防经费一无可筹。绍郡捐局，自本年正月间经王有龄改归地方官办理，派委张景渠及知府怀清等专办山阴会稽户案各捐。该员等差传捐户，按照上年捐输十倍加捐。职员张存浩、生员胡寿颐等稍事迟疑即予管押，并欲杖枷，又欲将该捐户提赴军前充当头阵。职员李镜人、举人陈圭等因威逼书捐，卖田鬻产。捐户陈颖生，因差扰迁避，该道员等即饬县查封房屋、田亩，形同籍没。催捐员弁动辄持令箭拘提，并纵令差役入内室索扰，城乡大震。而江防事宜则置之不问……
咸丰帝只能无奈叹息：前因各省军务未竣，特派督办团练大臣劝办民团，以辅兵力。至前谕王有龄（现任浙江巡抚）督办团练，并令王履谦（缙绅，在籍都察院左副都御史）帮办，原期官绅和衷，以收众志成城之效。乃近日如王有龄、王履谦、文煜、清盛、杜乔羽、联捷等无不各存意见，彼此猜嫌，殊失大臣和衷之义……
曾国藩摸透了咸丰帝的心思，不失时机地小心奏道：臣查团练之法，“只能防小支千余之游匪，不能剿大股数万之悍贼”。其练丁口粮若太多，则与募勇之价相等，团练自保即成空名；若太少则与兵勇之价迥殊，不能得其死力。其“团局经费若取之丁漕厘捐四者之中，则有碍督抚生财之道，若设法于四法之外则更无丝毫措手之处，事权既无专属，刚柔实为两难”。他婉转指出：江北团练大臣晏端书“不设饷局，但亲各邑筑圩自保”；江南团练大臣庞锺璐“激劝乡民，俾知同仇敌忾之义，办理极有斟酌”。但“目下贼势，断非团练所能奏功，应俟贼氛稍衰，大功将竣，然后办团练（按：曾国藩此所谓“团练”实际是指“保甲”）以善其后”。“晏端书庞锺璐清操雅望，内任最宜。应请撤去团练差使，仍回京供职”云云。
随之，裁撤他省团练大臣、由现任地方官接手团练事宜的谕旨也陆续颁发，如“直隶团练大臣颡春荣著即回京供职，该省团练事宜即责成文煜妥为办理；江西团练大臣刘绎俟服阕后来京听候简用，所有江西团练事宜并即责成毓科督同该省官绅妥为办理。其该二省京员如有借词回籍、经本籍督抚保举办团之员，即著各部院衙门查取职名，咨行文煜、毓科撤去办团名目，饬令来京供职”等。 [66]对此，咸丰帝特作解释，承认“前因各路办理团练大臣随带多员，任意骚扰，有名无实，有害无利，是以陆续裁撤”。
同治二年（1863），河南毛昶熙等最后一批团练大臣被裁撤。自咸丰十年（1860）咸丰帝第三次大规模直接委派各地办团人员，至此只有三年。这三年中，团练大臣的负面作用不断暴露出来。裁撤原团练大臣的样板——河南团练大臣毛昶熙时，咸丰君臣如是说：查办团之举，始则合一乡为一团，继而联众团为一练。地广人多，良莠不齐。不肖团长稍露拔扈情形，承办团练绅士又不能防微杜渐、随时举发，致有尾大不掉之势。其河南团练均归侍郎毛昶熙管理，该侍郎于通省地方安能周历兼顾？而各练既有专管大员，地方官因而呼应不灵，几同虚设。现在贼氛渐就削平，应请饬令毛昶熙回京供职，所有团练一节即照直隶山东统归地方官经理，以一事权。
从此，晚清的团练大臣，有如昙花一现，退出了历史舞台。
