但徐庶却拒绝了刘备的挽留，他还要回到曹营。
“我要是不回去，怕是会让天下人耻笑，如今，我老母已不在人世，不能尽孝，这使我抱憾终身。”
“虽然我身在曹营，心在汉，我曾发誓，不为曹操出一谋，使君有卧龙辅佐，何愁大业不成，还请使君放我离去。”
徐庶陈恳道，朝刘备躬身一礼道。
这就是名士的通病，比较爱惜自己的名声。
“元直，你这是何意，既然你执意要回去，那便回去就是了！”
刘备上前，扶起徐庶道。
二人又谈了好一会，徐庶又去找了诸葛亮，二人交谈一番后，徐庶告辞返回曹营。
刘备急忙招来诸葛亮询问，曹操要是知道他不降，定会派大军攻打樊城，他应该怎么应对。
诸葛亮建议刘备，放弃樊城，先取襄阳暂时落脚。
刘备同意，随后带着百姓转移，直奔襄阳而去。