蔡邕于是上奏认为妇人、宦官干预政事，是怪异发生的原因之一，并弹劾太尉劾张颢、光禄勋玮璋、长水校尉赵玹、屯骑校尉盖升等人贪赃枉法，又举荐廷尉郭禧、光禄大夫桥玄、前任太尉刘宠，认为可以向他们咨议朝政。灵帝在看了奏章后很是叹息，在起身如厕时，奏章被曹节在后面偷看了。就向左右的人泄露了全部内容，致使事情泄漏。蔡邕奏章上认为应该废黜的人，都非常恨他，企图打击报复。
之前。蔡邕与司徒刘郃不和，蔡邕的叔父卫尉蔡质，又与将作大匠阳球关系不好，阳球是中常侍程璜的女婿。程璜让人写匿名诬告蔡邕、蔡质几次因私事请托于刘郃，刘郃没有答应，蔡邕于是怀恨在心。决心要陷害蔡邕。灵帝因此下诏给尚书，召蔡邕质问。蔡邕上疏为自己辩白，但他与蔡质还是被送入洛阳狱，有关部门认为应该将二人弃市。中常侍吕强怜悯蔡邕无辜，于是替他向灵帝求情，灵帝也想起了蔡邕之前奏章的话，于是下诏将他免死，与家属被流放至朔方，不得因赦令而免罪。阳球打发刺客刺杀蔡邕，刺客被蔡邕的正义感动了，不为阳球所用。阳球又贿赂有关官员毒害蔡邕，受赂的人反而把消息告诉了蔡邕，要他提高警惕。蔡邕因此平安无事，居住在五原安阳县。
蔡邕之前在东观，与卢植、韩说等修撰《东观汉记》，正遭流放，所以没有来得及写成。他因此上书所著的十意，分别首目，附在书尾（《邕别传》记载有《律历意》、《礼意》、《乐意》、《郊祀意》、《天文意》、《车服意》）。灵帝爱怜蔡邕的才高，正好在第二年大赦，于是赦免蔡邕，准许他返回原籍，蔡邕自从放逐到被赦免，历时九个月。
蔡邕正准备启程回郡的时候，五原太守王智为他送行。酒喝足后，王智起舞劝蔡邕，蔡邕不理他。王智是中常侍王甫的弟弟，本来很骄贵，丢了面子为宾客所嘲笑，就破口骂蔡邕说：“罪犯也敢轻侮我！”蔡邕振衣而去。王智非常恨他，于是密告蔡邕心放怀怨，诽谤朝廷。灵帝宠幸的人也都诬陷他，蔡邕害怕无法幸免，于是逃命江海，远走吴会之地，往来依靠泰山羊氏，在吴地共待了十二年。
公元189年（中平六年），灵帝去世，董卓任司空，专擅朝政，听说蔡邕的名气，于是征召他，蔡邕推说有病不能去。董卓大怒，骂道：“我有灭人三族的权力，蔡邕就算骄傲，也是不过转足之间的事而已。”又急令州郡征召蔡邕到府。蔡邕不得已只好应命，被任命为代理祭酒，很受董卓敬重。[33]?又被举为高第，历任侍御史、治书御史、尚书，三天之内，遍历三台。又升任巴郡太守，被留任侍中。
公元190年（初平元年），蔡邕被拜为左中郎将，跟随献帝迁都长安，被封为高阳乡侯。董卓的宾客部属想让朝廷尊崇董卓与太公相比，称尚父。董卓询问蔡邕的意见，蔡邕说：“太公辅周，奉命灭商，所以特号为太公。现在您的威德虽高，但相比尚父，我以为还不行。等到关东平定，陛下返还旧京，然后再讨论此事。”董卓听了他的话。