，是陛下终不得闻宰相大臣之过也。宰相大臣天子不之知，何以论天下之治哉！又况陛下当即位之初，以论相择人为先，不可不谨。此举愿陛下断而行之，实为天下幸甚！”

其实，李邦彦早有自知之明，他知道自己已不适合继续担任宰相之职。两天前，他曾上书宋钦宗乞请致仕。

他在奏书中说，上皇退位，将江山社稷交付陛下，自己被委以重任，曾发誓要殚精竭虑，“身屡濒死，有所不避”。可是，自己的努力与心血，却一再遭到误解，以至于“今譊譊之徒，扇惑群听，喧竞仓卒，白黑不分”。

他辩解说，“臣之所急，存宗社、安君上、惜生灵而已，何敢为身谋？”然而，人们却不理解，不断进行诋毁，认为自己是奸贼。现在，“众听未孚，铄金可畏，不知引避，何以厌服斯民之心？”

当日，宋钦宗权衡利弊，最终接受了陈公辅的谏言，免去李邦彦、王孝迪和蔡懋在朝廷的职务。李邦彦外任邓州知州，王孝迪担任醴泉观使，蔡懋去往大名府任府尹。

李邦彦请求补足其守孝的时间，宣和五年他父亲去世时，他只守孝两个月就被朝廷召回，根据丁忧守丧制度，他应该守孝三年。宋钦宗准奏，命他前去提举亳州明道宫。

李邦彦虽然是“浪子宰相”，但宋钦宗对他怀有好感，因为宋钦宗在当太子期间，以及禅位之初，曾得到过他很大的帮助。现在迫于舆论压力，宋钦宗不得不让他下台。为了给他挽回一点颜面，宋钦宗专门下达了一份手诏“太宰李邦彦任政府累年，屡形忧国爱民之议，以至惜名器，抑冗滥，献纳非一。朕在东宫时，熟闻嘉誉，册立之际，备罄忠诚。金人犯阙，其所建明，惟知利社稷抚军民为急，朕一一施行。众志未能遍谕，乃作弗靖，鼓唱流言，反与前日异议，元恶之人，忽生怨愤，实骇予听。已依所乞宫祠，播告中外，咸信勿疑。”