不久之后，李国昌出击党项，赫连铎趁机突袭攻破振武。赫连铎，吐谷浑人，开成年间，赫连铎之父率三千帐吐谷浑归附唐朝，被封为吐谷浑都督。其父死后，赫连铎继位酋长之职，并被封为阴山府都督。
李克用听到郝连铎突袭振武，从云州出发去迎接父亲李国昌，但当他再次回到云州时，云州人把门一关，不让他们进城了。老窝被别人端了，李克用父子成了丧家之犬。
老窝没了，就得另寻一处，于是他们袭击蔚、朔二州，收编士兵3000人，李国昌进入蔚州守城，李克用回去占据新城。唐僖宗一看李氏父子屡教不改无可救药，于是任命赫连铎为大同军使，而宣慰使李钧转身一变成了代北招讨使，前去讨伐沙陀。
乾符五年，沙陀先后击破遮虏军、苛岚军，唐军数次败北，沙陀势力因此愈加强盛，北面占据蔚、朔两州，南面侵入忻、代、岚、石等地，势力直达山西太谷。
广明元年（880年)，招讨使李琢会同幽州李可举、云州赫连铎出击沙陀，李克用与李可举拥兵相拒于雄武。关键时刻，自己人出了问题，李克用的叔父李友金携蔚、朔两州向李琢投降。老窝再次被端，李克用不得已再次担任灭火队长，带领大军跑回老家前去灭火。李可举一路穷追不舍，在药儿岭大败李克用。后又与李琢军队前后夹击，在蔚州击败李克用。沙陀大败，李国昌父子流亡达靼。
别看少数民族平时看起来傻乎乎的，但这时候也知道斩草除根的重要性，不久之后，郝连铎派人到达靼离间达靼跟李国昌父子的关系，说李克用图谋不轨，企图鸠占鹊巢。李克用知道后，有事没事，就露一手他的神箭技能。把达靼人吓得一愣一愣的。
后来听说黄巢动乱，李克用又开始忽悠达靼人说：“我们其实是好人，只是报国无门，现在终于碰上国家有用得着我们的时候了。我们打算杀回去，报效祖国。”
言外之意是，你们放心吧，我们不会呆在这个鬼地方每天陪你们放羊的。达靼人一看，原来这是误会啊。人家李克用是厚道人，不会跟我们抢地盘的，于是双方摒弃前嫌，握手言和。
中和元年（881年），黄巢攻陷长安城，北起军使陈景思率领沙陀降军与吐浑、安庆军队数万人前往长安勤王。行军至绛州，沙陀军大乱，大肆掠夺一番后，拍拍屁股打道回府了。
沙陀军走后，陈景思哭了。尼玛这群野人也太不合作了，以后还指望他们剿灭黄巢呢，这比黄巢都狠啊。
这时候有人献策说：“只要启用一个人，这个问题就可以迎刃而解了。”不用说，解决问题的人就是李克用。
陈景思于是奏请唐天子下诏从达靼部召回李克用，任其为代州刺史、雁门以北行营节度使。李克用于是再度出山，当大军到达太原的时候，李克用要求朝廷派发军饷。
当时的河东节度使郑从谠想了想：不给，面子上过不去，给吧。又舍不得，于是折中了一下，只给他钱币一千缗、米一千石。
李克用很生气，你这是把我李某人当成要饭的了吧。你不给也就算了。给这么点就是侮辱我们少数民族了，于是索性自己动手，丰衣足食，纵兵大肆掠夺一番后返了回去。
中和三年正月，李克用出兵河中，屯兵乾坑。黄巢派人劝降。李克用热情地迎接了使者，然后说：“贵军的礼物我们收下了，贵军的劝降书自己带回去吧。”
弄得黄巢哭笑不得，这也太不讲江湖道义了吧，办事拿东西已经够混账了，你这是光拿东西不办事啊。
当时，各藩镇的军队在长安城围了一圈，大家充分发扬了孔融让梨的精神，相互谦让道：你上，你上，还是你上吧。
让了半天就是没人敢率先动手，李克用说你们不上我可上了，于是抡着大刀就上了。黄巢军一听李克用要来了，惊恐道：“鸦儿军来了，咱们赶快逃吧”。二月，李克用在石堤谷击败起义军将领黄邺。三月，在良田坡击败赵璋、尚让，敌军横尸三十里。
这时，各地军队都来到长安，在渭桥与黄巢大战，黄巢不敌，败退城中，李克用乘胜追击，从光泰门进入，与义军大战于望春宫升阳殿，黄巢军继续败退，向南逃到蓝田关。
长安收复，李克用军功居首。唐天子任命李克用为检校司空、同中书门下平章事、河东节度使，任命李国昌为雁门以北行营节度使。十月，李国昌去世。黄巢向南败走到蔡州，降服秦宗权，径直攻打陈州。
中和四年，李克用率兵五万援救陈州，想借道河阳，诸葛爽不同意，于是率部在河中渡河。四月，在太康击败尚让，又在西华击败黄邺。
黄巢且败且退，到了中牟，还没功夫渡河，李克用就又像狗皮膏药一样贴了上来，黄巢军惊恐溃败。等到了封丘，李克用再次击败黄巢军，黄巢脱身逃跑。
李克用追击，一天一夜奔袭三百里，追到冤朐（冤句：今山东菏泽西南），没追上才率军返回。后黄巢在狼虎谷兵败，黄巢起义结束。
光启元年（885年），河中节度使王重荣与宦官田令孜因盐池之利展开斗争。田令孜进言让王重荣调任兖州，任定州王处存为河中节度使，并下诏书让李克用出兵保护王处存的辖地。王重荣命人忽悠李克用：“僖宗下诏书给王重荣，等你来了，
然后就会诛杀你。”并伪造了诏书给李克用看，说：“这全是朱全