就在洛阳围困战进入关键之时，河北的窦建德亲率十余万大军，号称三十万，一路南下前来救援王世充，大军抵达酸枣，兵锋直指虎牢关，唐军瞬间陷入腹背受敌的险境。军中谋士萧瑀、屈突通、封德彝等人见状，纷纷向李世民进言，认为唐军久攻洛阳不下，又遭遇窦建德大军夹击，局势凶险，并非万全之策，一致请求李世民率军退守谷州，静观形势变化，再做打算。
李世民召集众将商议战局，力排众议，冷静分析道：“王世充如今粮草早已耗尽，城内军心涣散、内外离心，我军无需强行攻城，只需长期围困，便可坐收其溃败之果。窦建德刚刚攻破孟海公的势力，将士骄纵、士兵怠惰，军心并不稳固。我军应当即刻进军，占据虎牢关，扼守住这处山川险要咽喉之地。窦建德大军若是贸然来攻，我军凭借险要，必定能一举攻破他；若是他不敢轻易出战，十日之内，洛阳城内的王世充必然会自行崩溃。倘若我们不迅速进军，让窦建德大军顺利进入虎牢关，周边刚刚归附的诸城必定难以坚守，到时候窦建德与王世充两股势力合并，兵力大增，我们再想取胜就难上加难了！”屈突通依旧心存顾虑，再次请求解除洛阳之围，退守险要之地，等待敌军内部生变，李世民坚决不同意，当即定下分兵作战的策略。
他留下屈突通辅助齐王李元吉，率领主力大军继续围困洛阳，严防王世充突围，自己则亲自率领三千五百名精锐骑兵，星夜兼程，奔赴虎牢关，阻击窦建德大军。
窦建德率军从荥阳向西推进，在板渚修筑营垒，虎视眈眈，李世民则率军坚守虎牢关，两军在此对峙二十余天，僵持不下。此时，唐军探马传来紧急情报：“窦建德打探到我军战马草料已经耗尽，打算等我军前往黄河北岸放牧战马时，趁机偷袭虎牢关。”李世民识破窦建德的阴谋，将计就计，故意下令将战马放到黄河北岸放牧，引诱敌军出兵。
次日清晨，窦建德果然中计，率领全军主力倾巢而出，在汜水岸边列阵，王世充的大将郭士衡率军在南侧布阵，两军阵营绵延数里，旌旗蔽日，将士齐声呐喊，声势浩大，唐军众将见敌军兵力雄厚，全都大为恐惧。
李世民丝毫不乱，率领几名亲信骑兵登上高处土丘，远眺敌军阵营，转头对众将分析道：“窦建德起兵于山东，一路走来从未遇到过真正强大的对手。如今他们越过险要之地却肆意叫嚣，这是军纪不严、没有政令的表现；大军逼近我军关隘列阵，分明是轻视我军防守力量。我军只需按兵不动，消磨敌军气势，他们列阵时间一长，士卒必然饥饿疲惫，军心涣散，定会自行撤退，到时候我们再出兵追击，必能战无不胜。我与诸位约定，午时之后，必定大破敌军！”
果如李世民所料，窦建德的大军从清晨列阵一直等到下午，烈日当头，士卒们又饿又累，疲惫不堪，纷纷放下兵器坐在地上，又相互争抢饮水，阵型彻底散乱，窦建德无奈之下，下令大军稍稍后撤。李世民见时机已到，当即下令：“可以出击了！”他亲自率领轻骑兵先行出击，引诱敌军，唐军主力大军紧随其后，全线压上。
窦建德急忙下令大军回军列阵抵抗，可还来不及整顿阵型，李世民的骑兵已经冲锋而至，攻势迅猛，所到之处，敌军纷纷溃散。没过多久，唐军各路兵马会合，全力猛攻，战场上尘土飞扬，喊杀声四起。李世民趁机率领史大奈、程咬金、秦琼、宇文歆等猛将，挥动唐军大旗，从敌军缝隙中直冲而入，一路突破至敌军阵营后方，高高张挂起唐军旗帜。窦建德的士卒回头看到阵后尽是唐军旗号，以为早已被包围，军心彻底崩溃，全军四散溃逃。
李世民指挥大军乘胜追击三十里，一路斩杀敌军三千余人，俘虏窦建德部众五万余人，并在乱军之中活捉窦建德。
李世民见到被押来的窦建德，厉声责备道：“我兴师讨伐的罪魁祸首是王世充，他的得失存亡，本与你无关，你为何要越过自己的边境，冒犯我大军锋芒？”窦建德惊魂未定，无奈答道：“我今日若是不来，恐怕日后还要麻烦你远道出兵攻取我的地盘！”随后，李世民押着窦建德，率军抵达东都城下，将其带到城下示众。王世充在城上看到窦建德被擒，最后的希望彻底破灭，心中惊惧万分，当即率领麾下两千多名文武官员，亲自前往唐军军营门前，俯首请求归降。至此，山东地区尽数被唐军平定。