再度从洛口城逃走的李密达到了虎牢，打算前往黎阳与徐茂公会合，有人警告他，说格杀翟让的时候，徐茂公差点被杀，而今你打了败仗，前去依靠，主弱臣强，怎能保持安全呢？
李密一听，心中一凉，想起了徐茂公曾经讽刺自己的事情来，心中更是没有了底。
恰在这时，负责镇守金墉城的王伯当领兵前来会合，随后，李密召集众将进行军事会议，讨论下一步，他准备南以黄河为界，北以太行山为界，东连黎阳，先求安定，再图发展。其实也就是守住汲郡、魏郡。
可是，马上遭到了众人的反对。
有人反对道：“我军刚刚失利，人人畏惧，倘若再继续打仗，恐怕士兵们就要全都叛变逃亡了！”
也有人提起，汲郡、魏郡与武安、武阳两郡相连，以瓦岗目前的情况，很难在两大势力之间生存。这是个问题，不说河北兵刚兵不血刃的大败了宇文化及，就是王世充，在李密大败之后，许多地方接连投降，人心惶惶之下，李密想不出还有谁能够依靠！
一败如斯！
李密的心中，终于有了绝望的的念头。
自从除掉翟让之后，就不断有人建议李密斩草除根，把翟让的旧部全部干掉，以绝后患。比如当时房彦藻就曾力劝他除掉单雄信。他说单雄信是一个“轻于去就”的人，不可能从一而终，早杀早好。可李密始终下不了手，因为单雄信勇冠三军，在军中有“飞将”之称，李密爱惜他的才干。再比如，部将宇文温也曾劝他干掉邴元真。他说邴元真这个人是翟让的死党，其“长史”的职位就是翟让力荐的，心里头对翟让感恩戴德，留着这样的人，迟早是个祸害。可李密听完却不置可否，因为他不希望在攻克东都之前搞太多的窝里斗。
但是最后，就是这两个人，在关键时刻，倒打了一钉耙，使得李密一再痛失良机！
想起这一切，李密真是感慨万千、追悔莫及。
可是后悔又有什么用？
就算把翟让的旧部通通杀光、一个不留，瓦岗就能上下一心、坚如磐石了吗？
未必。而且提早动手的结果很可能是把这些骄兵悍将提前逼反！况且，要杀多少人才算把翟让的“旧部”清除干净？
瓦岗本来就是大大小小的数十个反军聚集在一起，凑成的松垮联盟，从来就不是一支军纪严明号令统一的正规部队，要论战斗力那是没得说，可要论部众的向心力和凝聚力，那基本是几乎没有，自从李密执掌领导权以来，虽然在一定程度上改变了这种松松垮垮、谁也不服谁的状况，但却无法从根本上洗掉这些人身上的匪气，也扭转不了他们三心二意、随时准备瓦岗不行就开溜到其他地方在做打算的想法，所以李密根本不可能把瓦岗军打造成一支以他李密为核心的具有高度忠诚与合作精神的集团。瓦岗寨这些大大小小的将领之间各种潜在的利益关系始终是盘根错节、牢不可破的。在这种情况下，李密凭什么认定哪些人是翟让的“旧部”、属于定点清除的对象，而哪些人是一干二净、与翟让小集团毫无瓜葛的？这个标准要如何拟定、如何拿捏？
这，很难，因为他几乎是不存在的。
因为说到底，真正对李密构成威胁的并不是什么翟让的“旧部”，而是一张无孔不入无所不在的隐性的利益联结网。除非李密彻底撕破这张网，把瓦岗军改造成一支真正意义上的正规军，否则各种隐患就不可能被消除。换句话说，除非李密只留下少数心腹，把其他的人通通杀光，否则就不能算清除干净。
然而，李密能这么做吗？
当然不能。
再说了，自从坐上瓦岗的头把交椅，李密基本上就没过过一天安生日子，先是跟东都军队打，继而跟王世充打，后来又跟宇文化及打，天天席不暇暖枕戈待旦，四十岁不到，他的垡头就白了许多。他根本就腾不出手来清理内部。如果硬要动手，那无异于是在大敌当前的时候自毁长城！
就像当初柴孝和提出放弃东都、西进关中的建议时，李密只能表示无奈一样，此刻的李密也只有无奈。
非常的无奈。
瓦岗的军心已经散了啊，一败涂地的李密还能有什么想法？
李密一听，大哭了起来，他缓缓的说道：“我所依靠的是大家，大家既不愿意，我路尽道穷了。”说完之后，咱们的李老兄竟然拔出了腰中的佩剑，抬手就要往脖子上抹！
众人大吃一惊，还没有反应过来，只见王伯当上前一步，紧紧的抱着李密，阻止了他自杀，同时放声大哭，连声高喊：“魏公！”
众人这时才反应过来，赶紧纷纷上前劝慰李密，不要寻短见，众兄弟还是忠于他的。
李密收起佩刀，想了一想，这其实是他早就想好的想法，他对众人道：“诸君若不见弃，当共归关中，密身虽无功，诸君必保富贵！”
幕僚柳燮立即代表众人道：“明公与唐公乃李氏同族，又曾订立过友好盟约，虽然没有一同举兵，却替他挡住了东都的隋军，使唐公不战而据长安，这也是明公的功劳啊！”
众人频频点头，异口同声地说：“然！”
于是计划就这样定下来了，李密带着残兵败将两万余人西向关中，投奔李渊而去。
随后，李密一走，仍然驻守在中原各地的其余部众顿时群龙无首，只好连人带城纷纷归降东都朝廷。
这一年的夏天，李密