当天夜晚，雪地的严寒之中，王忠嗣下令大军在夜幕的掩护之下拔营退兵。好在石堡城的吐蕃兵马并不知唐军连夜撤兵之事，所以并未派兵趁着撤军的混乱进行骚扰袭击。所以唐军虽撤离的仓促，却也有惊无险。
三日后，饱受艰辛的十万大军撤入多玛城中。多玛城中留守的兵马已经搭建了不少简易的建筑，十万兵马这才得以暂时安顿下来。王忠嗣也算暂时的松了口气。多玛城其实也非大军久留之地，这里几乎什么都没有，供给也极为困难，大军也无法长期在此驻扎。
当天夜里，王忠嗣彻夜未眠，他左思右想，考虑此次进军吐蕃的意义何在。若说报复吐蕃人的话，连下多玛羚羊两城，目的已经达到。剩下的石堡城虽然在计划之内要攻下此城，但其实意义并不大。
且不说目前攻击石堡城的时机实在是糟糕之极，就算能攻下石堡城又能如何？扎陵湖和鄂陵湖旁的这三座城池距离大唐太远，除非朝廷想灭了吐蕃国，一鼓作气往吐蕃腹地打过去，否则拿下这三座城池也无法守住。物资补给的困难以及吐蕃人的反攻都会让唐军迟早被迫撤出这里，而付出巨大伤亡的代价拿下这三座城池明显是拿士兵们的性命开玩笑。
王忠嗣此次率军攻打吐蕃本就并非出于衷心，而是被迫应命。朝廷既是要教训一下吐蕃，那么此时教训的目的已经达到，王忠嗣认为自己或许该重新考虑一下是否一定要攻下石堡城了。但王忠嗣明白，自己不能独自决断此事，太子殿下派人送来的密信中说的很清楚，要自己小心行事不要让李林甫和杨国忠攻讦的把柄。所以，即便是退兵，也要说服朝廷的许可，特别是陛下的首肯，那样便确保万无一失了。
深思熟虑之后，王忠嗣于多玛城中连夜写了一份奏折，希望能说服玄宗同意自己的想法。
奏折上详细的说明了目前的情形，以及攻打石堡城的弊端，奏折中言：石堡城得之与国云集吐蕃重兵七万，力攻虽可下，但必损将士无数。以数万将士性命，换吐蕃一城，岂非本末倒置。祈陛下深思，准臣率军回归积石山大营。待审时度势，机会成熟，一举夺之。
奏折中可谓苦口婆心，希望能够让玄宗好好的考量此事，作为一名大唐的重臣和领军的高级将领，王忠嗣可谓掏心掏肺，一切从大局开始考虑。正因为不出于私心，王忠嗣才敢写这封奏折。他相信，以玄宗的英明该明白目前的情势和自己的苦心，一旦玄宗认可，那么退兵之举便不会受到李林甫和杨国忠的攻讦。于公于私都是最好的结果。
次日，王忠嗣上奏朝廷请求撤兵的消息便在军中高级将领中传开了。王忠嗣也并不打算向他们隐瞒。大多数将领都对王忠嗣此举持赞成意见，但也有人不太认同，认为王忠嗣此举有欠考虑，或许会招致朝廷的责怪。为了此次出兵，朝廷花费了巨额的军费，为河西陇右两军更换了大量全新的甲胄武器，提供了更多更好的的物资协助，便是希望能拿下两湖三城之地。而现在王忠嗣居然要草草收场，这岂是朝廷说希望的。
李光弼便是持此观点的人之一，他求见王忠嗣，希望王忠嗣能立刻派人将奏折追回，否则必会招致陛下斥责。但王忠嗣坚决不同意，斥责李光弼道：“光弼，你跟随我多年，难道不知本帅的性行？即便朝廷责怪，本怪也要将这番到底告知陛下。这次作战本就是得不偿失的冒失举动，我们不能再错下去，此时撤兵乃是最佳的时机。”
李光弼叹息道：“大帅，末将不是说你的判断错误，而是为了大帅您着想。你我皆知此次对吐蕃作战的内中缘由，光弼只是不想让大帅被人因此指谪罢了。”
王忠嗣摇头道：“陛下会明白我的苦心的，陛下一旦首肯，他人奈我何？”
李光弼无言以对，作为王忠嗣一手提拔起来的人，李光弼不能太过反驳王忠嗣，只得暗自叹息，祈祷自己担忧的情形不会出现。
所有人都不知道的是，在王忠嗣的奏折送往京城的第二天，多玛城王忠嗣大军中的另一份奏折也送往了去京城的路上。这封奏折是出自陇右军行军司马董延光之手。这位董延光领着右路军辖下的前锋军一万兵马，是在陇右军中的老资格的人物。此人原是一位骁勇善战的猛将，在陇右军中屡立战功。但对于王忠嗣一力提拔哥舒翰等一批年轻将领的举动，董延光早就心中不满。哥舒翰原本只是军中一名副将，短短几年之间便被王忠嗣提拔为陇右节度副使，董延光自认为功劳不比哥舒翰小，却被王忠嗣无视，这么多年只是个行军司马，职位反在哥舒翰之下，这让董延光的心中的不满开始堆积。
因为心中有疙瘩，董延光索性怠慢军务，以此表达不满。王忠嗣为此居然在众将面前点名批评董延光，让董延光颜面尽失。董延光知道，自己在王忠嗣手下是别想有任何升迁的可能了，于是在某次回京休假时，主动去拜访了李林甫，希望能通过李林甫让自己的处境有所改观。李林甫当然喜出望外，他正需要在太子党的王忠嗣辖下安插自己人，眼下董延光主动送上门来，岂非是一件梦寐以求之事。
在一番考察之后，李林甫和董延光便开始暗通款曲。李林甫许诺董延光，他已经同安禄山说好，在恰当的时机，调董延光去安禄山所辖的河东节度去任副节度使。但需要董延光有所‘表现’。
这一次董