拓跋浩慌忙命一部禁卫军去挡住汉骑，自己带着大部人马转往另一条道路北行。谁知这条道也不安全，没走多久又与一支汉骑遭遇。在这一天，他们一共与汉军遭遇了三次，虽然每次遭遇汉军不多，却让鲜卑君臣惊恐异常，他们担心自己被这些少数汉骑纠缠住，而后被后面正在追赶的大批汉军包围。所以，每次拓跋浩都扔下一部人马应付汉骑，自己不敢停留，立马换道继续往北走。
这天夜里，拓跋浩仍不敢停下休息，命令连夜赶路。他早已吓破了胆，稍有风吹早动就会魂飞魄散。有时他甚至产生一种错觉，仿佛现在他不是在自己的国家里，而是深入了汉帝国境内，正在被大批的汉军围追堵截。到了第三天天亮，没有与汉骑再遭遇过，他才下令队伍停下来休息。但也不敢停留过久，仅仅数分钟后又接着赶路。直到入夜时，前方传来与左贤王的巡哨相遇的消息，才真正让拓跋浩大松一口气。
此刻，他心里更加痛恨尉迟晖，认定汉军是尉迟晖故意放过来取自己性命的。不然，这北来的一路上，怎么遇到的全是汉军，却没有见到一名本国的将士。一定是尉迟晖不让大军南下，所以才会出现昨日的局面。
其实他是冤枉尉迟晖了，他昨日数次遭遇的汉骑兵，是在留在后面担任堵截任务的汉游骑。不知什么原因汉军过去之后，尉迟晖并没有派出鲜卑骑兵追赶，高朔在等了一天后，也下令游骑向南开拔。汉游骑一贯是以营为单位行动，每个营之间保持一定的距离齐头并进。所以昨日鲜卑君臣才会多次与游骑遭遇，好像是游骑是在故意追踪阻截他们似的。
拓跋浩到了左贤王处，顾不得休息就宣布了一个重大任命，那就是下令，由左贤王接替尉迟晖的职务。而后，他又准备给尉迟晖下旨，命尉迟晖见旨立刻交出军权并随使者返回向自己请罪。
此时，步六孤峰提议道：“陛下，您在下这道旨之前，应该有些准备才行啊。”
拓跋浩不解地问道：“朕要做何准备？”
步六孤峰偷眼看了左贤王一眼，见他在轻轻点头，便解释道：“陛下，您别忘了，尉迟晖可不是一般人，有了前车之鉴，在这个时候您就不能再指望能用一纸诏书把他给招来了。”
拓跋浩略有所悟，道：“他难道想造反？”
“他敢不敢明目张胆的造反，臣不敢断言。但臣担心，他会用别的名义起兵，比如说清君侧……”
拓跋浩闻言大怒，道：“他敢？朕不相信军队将领都会跟着他走！”
步六孤峰继续挑拨道：“尉迟晖可不是一般的人。他从军多年，在军中威望甚高，又是蒙陛下恩宠担任多年的统帅，难保不会培养一批死心塌地跟着他的党羽。而且，他现在还手握军权，他要是利用权力将那些忠于陛下的将领铲除，再换上自己的心腹也不是不可能的。”
步六孤峰说得句句在理，大多数鲜卑人将尉迟晖看成是军神，拓跋浩是知道的。如果他真的是以清君侧的名义造反，恐怕有一部分人会受他的蛊惑。拓跋浩现在非常后悔，当初赋予尉迟晖大权的时候怎么没有考虑到这些问题。这可如何是好？有道是请神容易送神难。拓跋浩感觉，真要解除尉迟晖的军权可不是件容易的事，的确应该想个万全之策，各方面安排得天衣无缝，做好一切准备。
还没有等他想好解决办法，又听步六孤峰说道：“陛下也别忘了他是尉迟家族的家主，尉迟家族有族人数万，素来以勇猛善战著称。他要是造反，他的族人能不跟从吗？所以要拿尉迟晖，就必须做好准备，不然后果难以预料。”