开元二十一年二月（公元733年），李林甫的顶头上司、宰相裴光庭病死，宰相的位置就有了个空额。此时李林甫的情妇武氏不再满足于幕后策划，而是亲自出场。她找到高力士，“衔哀祈于力士，请林甫代其夫位”。这下子高力士可头痛了，宰相可没有这么接班的。他虽然权高势重，但要直接任命宰相，却还不敢。但他也抗不住武氏的哭哭啼啼、死缠乱打，毕竟旧主情深，只好答应替李林甫想办法，一时也找不到机会。
唐玄宗让宰相、中书令萧嵩选择空缺宰相的人选，萧嵩考虑了很长时间才推荐尚书右丞韩休。玄宗也同意了，并让人草写诏令。高力士马上把这个消息透漏给了武氏，武氏又马上告诉了李林甫。李林甫则片刻不停留，一面上疏朝廷力荐韩休当宰相，一面马上到韩休的家里，告诉他这个消息，并且宣扬这是自己在皇上面前举荐的功劳，而萧嵩推荐的是另一个人（萧嵩确实是先推荐了一个，被推荐者不肯当宰相，才勉强举荐了韩休）。韩休第二天得到任命后，对李林甫感激入骨，而对萧嵩自然是恨之入骨。他明白官场上投桃报李的潜规则，多次上书称赞李林甫有宰相的才能，武惠妃又在宫中竭力相助。唐玄宗也越来越喜欢自己这位疏远的本家了，便在第二年把他升为黄门侍郎。黄门是唐朝三省（尚书、中书、门下）中的门下省，三省的长官就是宰相，而作为门下省的副长官，离宰相只有一步之遥了。
第三年（开元二十三年）阴历五月二十八日，因为李林甫的挑拨，萧嵩和韩休在相位上争斗不休，唐玄宗只好把两人一同罢免，任命黄门侍郎平章事裴耀卿为侍中、中书侍郎平章事张九龄为中书令、李林甫为礼部尚书、同中书门下三品、加银青光禄大夫，三人一同拜相。李林甫虽然是三个宰相中位置最靠后的，但毕竟是进入了朝廷权力的最高峰。促成这一切的只是一个女诸葛：武氏。
除掉绊脚石
李林甫虽然成功登上相位，座次却在最后，当然不会满足。
唐朝实行多宰相制度，据《新唐书.职官志》中记载：尚书省的长官尚书令、中书省的长官中书令和门下省的长官侍中“共议国政”，这就是宰相的职务了，但却从来没有宰相的名称。《新唐书.职官志》称：“唐世宰相，名尤不正。”因为唐太宗自己担任过尚书令，所以后来大臣都回避不敢接受尚书令的职务，尚书仆射便成为尚书省的长官。而尚书仆射、中书令、侍中品位崇高，不能轻易授人，所以经常以其他的官职行使宰相的职务，名称也不同，一般在本来官职上加上“参议得失”、“参知政事”等头衔。从唐高宗以后，宰相必须加上“同中书门下三品”的头衔，所谓“同中书门下三品”就是中书令和侍中的品阶。后来又有加上“同中书门下平章事”头衔的，所以一个人的官衔上如果加有“同中书门下三品”或“同中书门下平章事”的，就是真宰相。
宰相虽然没有定员，但一般都是三或四人。唐玄宗开元年间似乎都是三人，但绝不许一个人独相，防止造成大臣专权。宰相们的办公地点在中书门下的政事堂，宰相们必须在这里集体办公，不能一个人偷偷去见皇上，皇上也不能单独召见某位宰相，要见时，必须两个人以上，以免有人偷着打小报告、搞小动作。宰相中以德望资历最高的人为首，也就是首相，掌执相印。而在李林甫这三人中，首相就是张九龄。
张九龄不仅是盛唐最有名的文学家，而且从政资历也很高。他少年时登进士第，进入官场，就以才能优异倍受关注，他以校书郎、右拾遗，几年间便升到吏部的司勋员外郎。当时张说为中书令，对张九龄欣赏备至，称他为“后来舍人，负责朝廷诏书的撰写。唐玄宗的文学修养、书法造诣也极高，所以对张九龄不仅欣赏而且器重。
张九龄对李林甫能进自己的宰相班子不仅反感，而且坚决反对，也曾向玄宗明确表达过反对意见，无奈玄宗就是看好了这小子，张九龄想纯洁宰相队伍的美好愿望也就只好落空了。
李林甫并不知道这事，但不管知不知道，张九龄和裴耀卿已成为他面前的两块绊脚石却是摆在面前的。张九龄深受皇上器重，裴则是亲张派，李林甫想要扳倒这两个人，也并不容易，在人数上是二比一嘛。但李林甫也有他独特的王牌，那就是他通过宫中的内线网络（有武氏和高力士帮忙组建），随时知道皇上喜欢什么、不喜欢什么，而他也打定了主意：凡是皇上喜欢的，咱就说，就做；凡是皇上不喜欢的，咱就不说，有人说了就要批判。受皇上宠爱永远比受皇上器重要高出一筹。事实上，他也正是胜在这一点上了。仅仅几个回合，一代名臣张九龄和裴耀卿就败下阵来。
争端的起点还是那场夺嫡之战。太子李瑛、鄂王李瑶、光王李琚都因为玄宗不宠爱他们的母亲、从而对他们也日渐疏远而口出怨言，这些话都被驸马都尉杨洄添枝加叶地报告给了武惠妃，武惠妃便日夜在唐玄宗耳边哭泣，说将来太子即位，一定不会放过自己母子。玄宗本就有心废太子另立，听到这些，