分军西徇，复宜黄、崇仁。值皖贼来援，战不利，退保崇仁。七年，曾公檄公守贵溪，兼控闽、浙要隘。大捷于鹰潭，加知府衔；败石达开众巨万，擢知府，以道员记名。八年，石达开窜衢州，道出贵溪，击走之；分兵解衢围，移防玉山及广丰、常山。闽贼犯广丰、袭玉山，公广设方略，贼穷窜，伏兵邀之，大获。江西巡抚疏称『以三千饥疲之卒、当悍贼数万，自有战事，未之前闻』；为时推重如此。先是，曾公忧归；为书劳公曰：『君当靖港败后，宛转护持；入则欢愉相对，出则雪涕呜愤：一不忘也。九江败后，特立一军，志在护卫水师，保全根本：二不忘也。樟镇败后，我部别无陆军，赖君支持东路，隐然巨镇；力拄绝续之交，以待楚援：三不忘也』。至是，再起视师；遂上公功，加按察使衔，赏「色尔固楞」巴图鲁号。胡文忠公林翼疏举贤才，公与沈文肃公葆桢、左文襄公宗棠首列焉。
十年，金陵师溃，曾公为钦差大臣，总督两江；檄公守广信、衢州，授浙江温处道。曾公奏调皖南道改防徽州，公率新卒三千以行。八月，抵徽。先数日，宁国陷，贼酋李侍贤众十数万来犯，旧防兵溃，环索饷；宁防兵踵至，大掠；公善遣之。贼犯绩溪丛山关，部将童梅华等往御；贼入关，梅华击走之，遇伏殁，关遂失。贼薄徽，城周十八里倾圮甚，公督修三昼夜，完三之二而贼至；曾公所遣援兵溃，公收兵登陴，贼环攻五日，北门不守，公驰往督战，堕马晕绝，为亲卒负出，城遂陷。事闻，上意虽欲罪之，然有「李元度谋勇兼优、人才难得」之旨，命曾公察奏；曾公疏请褫职逮治，而浙抚王壮愍公有龄请公募勇赴援。十一年，命曾公饬赴浙，应得罪名仍察办。公归里，募八千人为安越军。会贼酋李秀成连陷湖北、江南郡县，湖南大震，官民固请留守平江。六月，公自湖北转战而前，贼望风溃遁，连复通城、崇阳、蒲圻、义宁、新昌、奉新、瑞昌诸城；诏赏还按察使衔，再赏布政使衔，前罪应否宽宥，命曾公核奏。九月，次衢州；浙饷不至，称贷以行，败贼云溪峡口、叶村等处。道梗，迄不得前。十一月，杭州陷；同治元年，李侍贤陷江山。公力战挫其锋，复分军与左公会击，大破之；授浙江盐运使，晋按察使、署布政使。而曾公以公罪未定、遽回籍，疏劾褫职留营，命交左公差遣；公遂归。寻言官论劾，复命曾公、左公察实具奏。时金陵已克，曾公奏：公守徽之役，到不十日，巨贼猝至，兵力未厚，前奏逮问本从严；今大功垂成，请量录用。左公奏：杭州失陷，非公逗留所致；惟落职后求去索饷，不顾大局。诏遣戍，仍留养母。
贵州教匪啸聚思南、石阡，与苗贼应和，蔓延楚、蜀；五年，巡抚张公亮基起公专办教匪。公募平勇二千，督各军由铜仁进攻，克大小■〈屯上土下〉、八宝关、大园子、马鞍营、席家山诸坚巢，大捷于孟溪，解铜仁围。教匪居河西者，曰城头界、曰老团、曰环嵒、曰秦家寨、曰大堡、曰景阳洞、曰牛渡滩、曰嵒科；居河东者，曰荆竹园，在安化县北。其酋朱明月，踞湄川县之偏刀水。公创设水师，断东西互援，进规河西。六年，克城头界、老团、环嵒诸巢，东会席公宝田军攻荆竹园、三道水。七年正月，克之；分兵克秦家寨，走教首刘仪顺，禽朱明月于觉林寺。五月，拔偏刀水，禽伪王何继述、田应武、老教主王科等；以降人内应，克大堡、景阳洞，而牛渡滩、嵒科乞降。两年之间，剿抚九百余寨，廓清五、六百里。设屯田局，招丁三千，授田二万余亩；教匪平，屯政亦竣。诏复原官，授云南按察使；陈情乞养，允之。
光绪八年，母卒；服除，十一年入都，补贵州按察使。十三年，迁布政使。在黔，翦巨恶、劾墨吏、兴蚕桑、设矿局；前殉贼难者，自贵州提督孝顺公以次，为请建「十忠祠」，而恤其后裔。它善政，多可纪。以九月二十七日卒于官，距其生道光元年八月二十五日，年六十七。湖南巡抚奏附祀曾公祠，事迹宣付「国史」；诏如所请。妻同邑喻氏，封一品夫人；妾徐氏、吴氏，宜人。子五：积琳，花翎三品衔，江西候补道；积璠，同治癸酉拔贡，花翎四品衔兵部员外郎，先卒；积璇，县学生；积璸、积瑄。女七，适黄锡绶、彭树森、沈莹庆、曾广铨、郭焯莹、欧阳钧、张寿威。孙八：厚荃，府学生；厚荪，候选道；厚英、厚葵，县学生；厚芬、厚苹、厚茳、厚藩。孙女八，曾孙一，曾孙女二。
公性肫笃，事母逮老如孺子，厚于亲族；塾有课、嫠有资，姻故乡邻多待以举火。平江地界三省，设局县城，集械编丁以时训练；寇警迭乘，恃以完固。立诸善堂及广仁仓，贷不取息。创建平江忠义祠及葺新诸祠祀，必亲必慎。倡捐江西欠饷二十余万，请增府、县学额；它军效之，省帑千万。自少以文鸣；既老，于兵间闻见开广，益雄于词。所著有「国朝先正事略」六十卷、「平江县志」五十六卷、「平江十三君子事略」二卷、「十忠祠纪略」二卷、「南岳志」二十六卷、「天岳山馆文钞」六十卷；未刊者，「四书广义」六十四卷、「国朝彤史略」十卷、「名贤遗事录」二卷、「国朝先正文略」二百卷、「求实用斋丛书」若干卷、「安贫录」