五月初九日，王继恩自易州还汴京，太宗方知曹彬军败，急诏诸将分屯边境要地，召命曹彬、崔彦进、米信入朝。田重进全军还驻定州，潘美也还屯代州。太宗又特别派遣了一批久不领节镇的旧将屯边，加强边彊军事力量，防止契丹入侵：张永德守沧州，宋偓守霸州，刘廷让守雄州。又徙瀛州兵马都部署赵延溥守贝州，赵昌言仍守大名，以防备契丹南下。又命潘美军再出雁门，掩护云应寰朔四州吏民及吐浑部族还境，分置河东、京西。
赵普上疏谏罢幽蓟兵，用切责怂恿太宗出兵之人的方法，间接地指出太宗的过失；太宗手诏相答，将战败的责任一股脑地推给主将了事。由于此次发兵，太宗只与枢密院计议，宰相在中书并不知道，如今战败，太宗看到败报，震惊不已，为了打这一仗，他可是倾尽了全国的精锐主力部队，如今却落了大败而还，大殿之上无－人敢言，这时宋太宗手中的书籍落地，他竟然不知道，这时只见太宗牙关紧咬，双目圆睁：“曹彬啊！曹彬啊！你可坏了朕的大事啊！你为何不听朕的命令，这可怎么办呢！我三十万宋朝锐卒，就这样完了吗？”他对枢密官员张齐贤发誓说：“卿等我让你们都看看，朕还提北伐的事吗？”大名知府赵昌言上书请太宗将败军将曹彬等处斩，曹彬自从战败以来，他身穿白衣到尚书省等待皇上发落，曹彬目睹了战士们在他的眼前－批批倒下去，他多想上前去拯救他们啊！可是他办不到啊！别看就这几天时间，曹彬头发枯槁花白了许多，眼窝也塌陷了下来，面容也毫无血色，与佂战前判若两人，他深自引咎，自请受诛，太宗责曹彬，贬为右骁骑卫上将军，米信等一并贬官，群臣军校战死及陷敌者，录其子孙。李继隆所部全列而还，太宗任命为定州知州。
萧太后与契丹主隆绪于五月初六班师，还至新城，到达新城后，接着便是三军皆庆，把大捷的消息遍告各路诸侯，而后以青牛白马祭告天地祖先，接着以所俘的宋兵举行“射鬼箭”仪式，何谓“射鬼箭”？射鬼箭就如果是契丹皇帝御驾亲征，为了告知天地祖宗，出征前抓－名死囚，如果是还军就用死人俘虏一名，以乱箭射之，谓之“射鬼箭”！而后还南京。五月十二日，萧太后还至固安时，诏详稳排亚率弘义宫兵，及南北皮室、郎君、拽刺，与惕隐耶律善补、招讨韩德威等四军，驰援斜轸以收复山后诸州。
由于田重进、潘美奉命主动撤退，所以斜轸未待援军，趁宋军之退，集中十万兵力，反攻蔚州。五月十五日，耶侓斜轸至安定（蔚州东七十里），宋将贺令图抵御，败绩南奔。斜轸攻蔚州，宋军不敢出战，乃以帛书射城上招降，不果。宋援军至，斜轸遣都监耶律题在险厄处设伏兵突袭之，城中宋军见援军至，突围而出，斜轸以轻骑击其背，宋军突围与赴援两军皆溃败，契丹军追至飞狐，斩首二万余级。潘美、贺令图兵又来，斜轸在飞狐又一次将其击败。
潘美败于飞狐，又奉太宗诏旨掩护边民撤退，遂与杨业引兵护送四州吏民南徙。当时宋军运源、应州守兵皆弃城南走，契丹军乘胜突入寰州，杀守城吏卒千余人。宋将杨业见斜轸军已据寰州，兵势大振，欲避其锋，向潘美等建议道：“我军东路主力败退，败局已定，我军只好撤退，朝廷只命令我们把云、应、朔、寰四州的人带回去，我们先派使者通知云、应、朔、寰州的人，我军离开代州时，云州的人就先跑回来，我军再去应州救人。辽军必然来攻，朔州的人就可以趁机跑进石碣谷，我们在谷口埋伏三千强弩，并以骑兵辅之，待辽军赶到时，我们弓弩齐射，这定能保全四州人民！”
而监军王侁却建议：“领数万精兵而畏惧如此。我们就应当鼓噪而行，直趋北川！”王侁就是以前陷害田仁郎后升官的人，这个陷害人而升官的专业户，他一说话准没好事！
护军刘文裕也赞成王侁的主张。杨业觉得这样必败，王侁便挖苦道：“君侯素号‘无敌’，今见敌为何不知进退，你该不会有二心吧？”
杨业无奈，只好说道：“业非避死，盖时有未利，徒令杀伤士卒而功不立。今君责业以不死，当为诸公先！”将要进发之前，杨业哭着对潘美说：“杨此行必不利。业，太原一降将，按理说早就该死。皇上不杀我，委我从帅印，授之兵权。非我惧敌不击，实在是想建功立业以报皇上知遇之恩q诸君责业以避敌，业当先死于敌。”又指陈家谷口说：“诸君于此埋伏强弓硬弩，为左右翼以援，待我把敌人引诱至此，你们夹击之，不然，我们一个人也活不了！”
潘美便与王侁等在际家谷口列阵。斜轸初闻杨业兵将至，命萧挞凛伏兵于路。这天早上，杨业兵果到，耶律斜轸佯装退去，杨业便领兵追击，萧挞凛等杨业钻进圈套后，伏兵尽出，杨业不敌，退至狼牙村！王侁等人从凌晨等到将近晌午时分，派人登台眺望，以为契丹军已经退去，怕杨业独占头功，遂领兵离开谷口前去攻击辽军，潘美不能制止，率军沿交河（今桑乾河上源）西南行进二十里，他得知杨业兵败，竟然不往救援，反而退去雁门关去了，这下可害死了杨业。而杨业自晌午力战到傍晚，且战且退，终于退到陈家谷口，却未见半个宋兵的影子，他乃顿足垂胸，抚胸大哭，他知此战决无还的道理，他已身受重伤十余处，手下的