据说，天宝九年二月，杨贵妃还曾经因为触怒玄宗而被遣出宫。原因仍是妒忌，只不过这次她与玄宗的角色互换：她使用了宁王的紫玉笛，妒火中烧的玄宗将她赶回了娘家。
——这位宁王是谁？据野史说是李成器即李宪。但是李宪明明已经死了九年，而他的儿子们也没有谁再得到“宁王”这个封号。
查一查帐，李宪的长子汝阳王李璡倒是很值得怀疑。这位郡王不但雅好音乐、频频出入宫闱，而且姿容妍美，是皇族中第一美男，玄宗曾赞叹说“姿质明莹，肌发光细，非人间人”，称其为“花奴”。但是查无实据，不能乱扣帽子，何况花奴擅长的是羯鼓而非笛子，杨贵妃能去拿谁的紫玉笛呢？难道说李宪曾经的遗物中有一管紫玉笛，玄宗连死人的醋也要吃？
反正不管怎么说吧，天宝九年二月，杨贵妃又一次回到了杨府。杨家的当家人杨国忠不敢想象好运能够一而再地落到自家头上，连忙请吉温前去劝说玄宗。玄宗也有些回心转意，便派内侍张韬光将自己的菜肴送往杨家。大约是因为知道错在自己，杨贵妃这一次的态度比上次大有不同，哭着向张韬光说：“我冒犯了皇上，罪该万死。然而自己所有的东西都是皇帝所赐，只有发肤是自己所有。”说着便剪下一楼头发，让张韬光带回宫去。玄宗一看到这缕头发，顿时大惊失色，深恐贵妃以死谢罪，立即派高力士亲自出马将她召回宫中。
由杨贵妃两次遣归又复返而毫厘无伤的记载来看，她对玄宗的心思可谓是如指掌。这也就难怪玄宗将她称做“解语花”了。心满意足的老皇帝对身边的人说：“联得贵妃，得如至宝”，还作歌《得宝子》以志心意。这时的玄宗与一个寻常的痴迷男子实在看不出什么区别来。
与王皇后、武惠妃相比，杨玉环还算不得爱干预政事，她更象一个享乐主义者，象所有被宠坏了的女人那样喜好玩乐、偏帮娘家。然而她的问题也正在于此。
杨氏族人在贵妃专宠之后的表现，基本就是完全的暴发户行径，所作所为可谓是目中无人，对唐玄宗的天下，只有破坏没有建设。
为了表示对杨贵妃的宠爱，玄宗不但与她形影不离，而且将王朝所有的财富都毫不吝惜地用在她和她的家族身上。皇宫中专为贵妃织锦刺绣制衣的技工多达七百人，为她制作玩器的也有数百人。凡是进献礼物使贵妃满意的官员都能够得到提拔。至于杨氏五宅更是穷奢极欲，他们的府第奢华无比，若是看见有谁的宅院比自己宏伟的，他们就不惜将新造的屋子推倒重建。
天宝十年元宵佳节，杨氏五宅联袂出游，在西市与广宁公主的队伍争道。混乱之中，杨氏家奴挥鞭误及长宁公主的衣裙，致使公主堕马受伤，驸马程昌裔赶上去扶公主，也挨了几鞭。长宁公主哭着向玄宗诉说，玄宗尽管大怒，却只不过是处死杨氏家奴一人而已，反倒把程昌裔的官职都给免了。——也是啊，长宁公主只是一个公主，而且生母也不得宠，反倒是杨家娶了两个公主，还是玄宗最宠爱的，算起来长宁公主哪能落得了好去。
此事传扬开去，杨氏顿时声威大振，长安城里民谣四起：“生女勿悲酸，生男勿喜欢”“男不封候女做妃，君看女却为门楣”。世人都对杨贵妃带给家族的荣宠羡慕不已。
然而就在玄宗对杨贵妃家族宠爱备至的同时，他仍然免不了老毛病重犯，对自己的新任继承人太子李亨百般提防。
天宝年间的首相之职，有一多半的时间是由李林甫担任的。李林甫曾经摆明车马支持寿王李瑁为太子，因此他很清楚自己与新太子李亨之间是永远也搞不好关系的。为了权力和平安富贵，他使尽心机要将李亨拉下马来。
他首先盯上了李亨的嫡妃韦氏。韦妃的母亲与李林甫的妻子本是表姐妹，但是亲戚关系敌不过权力之争，为了陷害李亨，李林甫向玄宗进谗，说韦妃之兄韦坚与将领皇甫惟明私宴，密谋要让太子篡位。玄宗大怒，尽管查无实据，他仍然将两人贬出朝廷。
李亨无奈之下，只得向父亲讨饶，请求与自己的嫡妃离异。
然而李亨的隐忍没有用，李林甫又出了一个新花样，诬告太子妾杜良娣的父亲杜有邻谋反。毫无反抗之力的李亨只得又与杜良娣离婚。
玄宗对儿子的表态还是很满意的，对他恢复了信任。李亨终于保全了身家性命。
天宝十一年，杨国忠取代李林甫成为唐王朝首相。杨国忠一向跟李林甫有仇，太子李亨又与杨家结了儿女亲家，照说杨国忠应该跟李亨关系很好才是。但是事情刚好相反。于是杨家的结局可想而知。
除了与太子关系不好，杨国忠和另外一个关键人物的关系也非常恶劣。这个人就是安禄山。
安禄山生于703年正月初一，其父是个康姓胡人。“安”是他继父之姓，他对自己生父究竟如何并不清楚，只知道母亲为突厥巫师，因此他是个“杂胡”。
安禄山作战勇猛，还是个语言天才，能说六族语言，只是他相貌古怪，生得又肥又白，体重达三百三十多斤。但是这么一个肥人却能歌善舞，平时走路都很吃力，跳起胡旋来酒桶般的身子却异常灵活。
安禄山虽然长相难看，但是为人狡诈，善于揣摩上意，因此仍美女的李隆基欢心。
早在开元二十四年（公元736）的时候，当时的宰相张