同突厥，将乘虚袭击晋阳。又是一波。渊忍不住长叹道：“看来时尚未至，只好赶紧北还。”乃与裴寂等商定行止。寂亦谓隋兵尚强，未易猝下，李密奸谋难测，刘武周惟利是图，不如还救根本，再图后举。渊即议定翌日还军。时世民正出外巡逻，忽闻有还军消息，即返营问明，果有此事，忙入内问渊道：“大人何故还军？”渊略述缘由，且言：“粮食将尽，势难逗留。”世民劝阻道：“今禾菽徧野，何患乏粮？隋将宋老生，素性轻躁，一鼓可擒。李密顾恋洛口，无暇远略。刘武周外附突厥，内实相猜，渠虽远利太原，怎能近忘马邑？况突厥新与我和，亦未必即日败盟。此种传闻，不应轻信。大人创兴大义，有志救民，理应先入咸阳，号令天下，今遇小敌，即欲班师，恐从义诸徒，一朝懈体，大事从此去了。”是极。渊摇首道：“倘晋阳有失，岂不是无家可归？我决意回去罢！”遂促令整装。世民出见建成，拟邀同谏阻，建成道：“我意亦不欲速归，但父亲已有归志，看来是不能中阻了。”世民见建成语带支吾，料是无心入谏，复转商诸裴寂等人。又皆谓不如归去，惹得世民恼恨万分，连夜餐亦不能下咽。辗转图维，拟再进谏，大踏步趋入后营，为李渊亲卒阻住，只说大将军已就寝了。世民悲愤填胸，忍不住痛哭起来。渊闻有哭声，才召世民入问。世民呜咽道：“兵以义动，有进无退，进即生，退即死，怎得不哭。”渊复问何为致死？世民道：“大人试想！行军全仗锐气，一旦退还，锐气消灭，大家溃散，敌人得乘我后路，追击过来，我已瓦解土崩，如何对仗？岂不是束手待毙么？”理解甚明。渊自是亦颇悔悟，复叹道：“左军已发，奈何？”世民道：“左军虽去，想尚不远，儿愿往追回。”渊乃笑道：“成败由汝，汝便去追回罢。”世民欣然趋出，即与建成带领轻骑，夤夜追回左军。
越两日，沈叔安运粮亦至，老天有意做人美，渐渐的雾散云消，展开了一道日光，渊命军士曝甲整械，就山麓绕行，避去泥潦，径趋霍邑。宋老生固守不出，建成世民，先引数十骑至城下，扬鞭指麾后军，作围城状；且令军士辱骂老生。明是挑战。老生忍耐不住，即驱兵三万人，开城出战。渊率百骑驰至，见老生出来对仗，亟令殷开山催召后军。后军如召而至，渊欲令军士先食后战。世民道：“敌军已经出城，亟应掩击过去。且灭此再食罢！”渊乃与建成列阵城东，世民列阵城南，城内隋兵，自东门驰出，渊率建成迎头拦杀，隋兵恰也不弱，一拥而上，反将渊军逼退数步。亏得柴绍跃出阵中，挥众力战，才得支持。宋老生又从南门出来，径趋向城东，夹击渊军。世民正在南原观战，亟与军头段志玄，从高原驰下，冲击老生背后，老生只好回马交锋，世民手握两刀，争先杀敌，左砍右劈，连毙数十人，漂血满袖，两刀皆缺；再洒袖易刀，跃马向前。段志玄等紧随马后，拚命奋斗，一当十，十当百，杀得隋军旗靡辙乱，人仰马翻。世民复令军士传呼道：“宋老生已擒住了！隋军何不速降？”此时城东的隋军，正与渊军相持，未分胜负。猛闻主将被获，忙即退兵回城。渊趁势进逼。那隋兵似风卷残云，收入城中，竟将城阖住，单剩宋老生一支孤军，进退无路，欲回入南门，被世民截住，欲转入东门，被渊与建成截着。两下里围裹拢来，老生自知穷蹙，下马投濠，寻一死路。可巧刘弘基驰到，把刀一挥，将老生剁作两段。老生部下，也都作了刀头鬼，伏尸数里。一场战事，写得淋漓痛快。渊命军士草草就食，食毕攻城，时已昏暮，大众肉搏齐登，立即攻入，下令降者免死。城中兵吏，皆匍匐乞降，当下揭榜安民，并引见故吏，去留听便。已降的兵弁，欲回关中，概授五品散官，即日遣归。裴寂等谓授官太滥，渊笑道：“隋氏吝惜爵赏，因失人心，我奈何效尤哩？”这是欺人之言，看官莫被瞒过。
过了两天，渊即引军趋临汾，守吏开门迎降，慰抚如霍邑故例，复进攻绛郡。郡守陈叔达，系陈高宗子，素有才学，至是闭门拒守。渊一面扑城，一面招降。叔达先拒后从，迎渊入城，渊优礼相待，用为幕宾，再出兵抵龙门。适刘文静引突厥兵五百人，马二千匹，进谒军营。渊慰劳有加，且语文静道：“突厥兵少马多，正慰我愿，君可谓不辱使命呢。”文静称谢。正拟督军进河东，往击屈突通，忽有河东户曹任瓖求见，渊即传入，任瓖行过了礼，即向渊进言道：“关中豪杰，均翘首瞻望义兵，瓖在冯翊多年，所有豪士，多半知晓，若奉命往谕，必望风投诚，公可从梁山济河，指韩城，逼郃阳，冯翊太守萧造，系一文吏，当然畏服。就是关中积盗孙华等，亦必远迎义师。然后鼓行直进，直据永丰仓，规取长安，关中可坐定了。”渊闻言大喜，即任瓖为银青光禄大夫，令作书招致孙华，自督军转赴壶口。河滨人民，各献舟待济，渊指日渡河。巧值孙华过河见渊，渊握手与语，令他就坐，面授左光禄大夫武乡县公，兼领冯翊太守。徒党亦以次授官，赏赐甚厚。华愿为先驱，引军渡河。渊遣偏师先济，又命任瓖为招慰大使，劝抚河西郡邑。瓖本能言善辩，掉着三寸舌，下韩城，收冯翊，太守萧造，果然奉表请降。将佐等复推渊领太尉，增置官属，渊如言照行。