，补太常寺卿，改帮办江南军务。寻奉命援浙；公上言：『浙江军务之坏，由于督、抚全不知兵。始则竭本省之饷以济金陵大营、皖南各军，冀藉其力为藩蔽；乃于练兵、选将之事，不自讲求。至金陵、皖南大局败坏，复广收溃卒，縻以重饷；以守则逃、以战则败，恩不知感、威不知愳，遂决裂不可复支。臣奉命督办浙江军务、节制提镇，非就见存兵力严为简汰、束以营制不可，非申明赏罚、予以实饷不可，非另行调募、预为换补不可。然欠饷日久，则有不能汰遣之患；饷需不继，则有不能调拨之患；经费不敷，则有不能募补之患。名为节制提镇，实则营官、哨长亦且呼应不灵；不得其臂指之助，而徒受其迫促之扰。虽有能将，无饷何以驭兵！虽有谋臣，无兵何以制贼！此臣之所为隐忧也』。时公所部湘军仅八千人，部将名者刘典、王开来、王文瑞、王沐数军，不敷分布；因思刘公长佑、骆公秉章、刘公蓉、江公忠义素友善，故令选强将相助，多或率数千人、少则数百人俾合成劲旅。于是调蒋益澧于广西，刘培元、魏喻义于湖南，皆未至；公以八千人策应七百余里，谈笑指挥，游刃有余。曾文正尤为叹服，奏公宜独当一面。文正与公议以保徽州、固饶广为根本，奏以三府属县丁粮银米供军，设婺源、景德、河口三税局裨之；三府防军悉隶公，通吴、越为一家。公驻婺源，频破巨寇；会杭州陷，诏授公浙江巡抚。同治元年正月，公自婺源攻开化，破寇马金街。恐朝旨促入衢则自陷，因上奏『行军之法，必避长围、防后路，先为自全之计。臣军入衢，则徽、婺疏虞，又成粮尽援绝之势。今由婺源攻开化，分军扼华阜、收遂安，使饶、广相芘以安，然后可以制贼而不为贼制。然欲依徽郡、取道严州，食米转运殊多劳费。又前衢州李定太一军八千余人、江山李元度一军八千余人，人数与臣军相等；而常迫切呼援，惴惴不能自保。臣军力固不能及，亦不愿其浪战求胜，致损军威：此兵事、饷事之难，未可骤期恢复之效者也』。二月，公遣刘典、王开来、刘璈、李耀南克遂安、金、严。寇围衢州，公自往救，败之。五月，进军衢州；魏喻义、刘培元募新军至。七月，蒋益澧自广西将八千人至。于是，军容壮盛。十一月，克严州。明年正月，克金华、绍兴；水陆并进，克桐庐、富阳。诏授公总督，仍兼巡抚。八月，围攻杭州；明年二月，克之。公移驻省城，申虏获之禁：妇女、财物各从其主，有敢言取自贼中者罪之。禁军士无入民居，招商开市；奏停杭关税，立清赋局，减杭、嘉、湖税则三之一。善后事宜百废具举，众声大和。时李公鸿章已克苏州、嘉兴，六月曾公国荃克江宁，江、浙余寇聚于湖州；七月，合江苏军克湖州，寇尽走江西、入福建，浙江平。公奏请蒋公益澧护巡抚，己统全军入福建追寇；至广东嘉应州，歼焉。五年正月，班师振旅，诏锡一等恪靖伯。
公在闽，抚疮痍、举淹滞、清伏莽、修武备、量财用、肃官方、劝耕作、勤庶事，以创为因；而尤以造轮船为急务，举沈公葆桢接办船政。
其年秋，天子以西陲师久无功，移公督陕、甘；并授钦差大臣，督办军务。公上疏曰：『臣维西北战事利在戎马，东南战事利在舟楫；观东南事机之顺在炮、船练成以后，可知西北事机之转亦必待车营、马队练成以后也。春秋时晋侯乘郑之小驷以御秦，为秦所败；是南马不能当西马之证。汉李陵提荆湖步卒五千转战北庭，为匈奴所败；是步队不能当马队之证。见在捻、回猖獗，官军征剿多年尚未蒇事。于时急图扫荡，固我疆宇，非讲求步队、马队不为功；而欲善步队、马队之用，又非讲求步队、马队之利不可。臣谨就愚陋之见，为我皇上敬陈之。捻、回之患在平原旷野，本骑之利；官军以步队当之，鲜不被其轻轶矣。于是而图制贼之长，宜用车营助步队遏其突骑，固也。然车营、步队足以遏突骑，守虽有余；以之钞截追剿，战尚不足；则练马队为急。以马力言之，西产不若北产之健；以马队言之，西北不若东北之雄。祖宗隆兴东北，平定中原；中叶以来，平准回、靖朔漠：神武震铄，跨越古今。敬绎列圣方略官书，窃以为欲平方今之患，非追法先世遗烈，其道末由也。回马多西产，捻马多略北产零骑，故捻之战悍于回。所幸者，捻、回之马虽多至数万骑，然均用之野战，非如官军队伍钤束之不可撼；捻、回诸逆人各一心，非如官军节制赏罚之不可乱；捻、回马上多用长矛，非如官军枪械、火器之不可敌。诚于时购北口良马，得其人习练而节制之，庶制胜有其具，而贼不足平；且可藉阅历以造就人才，为国家固根本、垂久远之计』。又言：『臣由鄂入秦，先剿陕逆。此时臣军步队仅止三千余，马队尚未习练，双轮、独轮车式尚未动工制造；所拟以制贼者，步队、马队、车营皆无以应手。仓卒就戎，必贻后悔；臣不敢不慎也。方今所患者，捻匪、回逆耳。以地形论，中原为重，关陇为轻；以平贼论，剿捻宜急，剿回宜缓；以用兵次第论，欲靖西陲，必先清腹地。臣军入甘，应先分两大枝：由东路廓清，各路分别剿抚。俟大局勘定，然后入驻省城，方合机局。是故进兵陕西，必先清关外之贼；进兵甘肃，必先清陕西之贼；驻兵兰州，必先清各路之贼。