歐陽修自慶歷五年(公元1045年)被貶出京后，在地方上輾轉了十來年，至和元年(公元1054年)被召回京時，“仁宗惻然，怪公鬢發之白，問公在外幾年，今年幾何，恩意甚至。”(見《歐陽文忠公年譜》)隨即任命他為判吏部流內銓(相當于中組部負責考核官員業績的高級別官員)。至和元年八月，未做幾日高官的歐陽修，又遭受嫉恨他的大臣的誣陷，說歐陽修徇私袒護受過處分的朋友之子，使其順利升遷，不被追究。在宋朝，官員若有徇私枉法之舉，朝廷處理是相當嚴厲的。所以，歐陽修又被貶為同州(今陜西大荔)知州。很多正直的官員見歐陽修再一次遭人暗算，紛紛出面營救。貶謫命令剛剛下達，仁宗皇帝就后悔了。等歐陽修上朝辭行的時候，皇帝親口挽留說：“別去同州了，留下來修《唐書》吧。”就這樣，歐陽修做了翰林學士，開始修撰史書。與宋祁同修《新唐書》，又自修《五代史記》(即《新五代史》)。

這一次遭人暗算還算不了什么，真正受到打擊的是第二次重大誣謗案，即發生在治平四年(公元1067年)二月的“被亂倫緋聞”案。斯時，宋英宗剛剛去世，宋神宗剛剛即位。

事情起因是這樣：歐陽修夫人薛氏有個兄弟叫薛宗孺，因為犯了法，遭到御史的彈劾。為了保住官位，薛宗孺向身為參知政事的姐夫求救，希望姐夫能在皇帝面前替自己說幾句好話。誰知歐陽修鐵面無私，非但沒有為小舅子求情，反而在皇帝面前說：“不可以臣故徼幸，乞特不原。”意思是，不要因為我是副宰相就網開一面，希望朝廷秉公處理。因為這句話，薛宗孺徹底歇菜了。因此小舅子恨透了姐夫哥，想來想去，薛宗孺想出了一個報復歐陽修的損招。

薛宗孺跑到歐陽修的仇家集賢校理劉謹那里，慎重其事地對他說：歐陽修和他的兒媳婦吳氏不干不凈，“帷簿不修”。吳氏是三司鹽鐵副使吳充的女兒，歐陽修長子歐陽發的妻子。薛宗孺的謠言無疑有巨大的殺傷力，又是一起亂倫的惡性案件。歐陽修又一次“被亂倫緋聞”了。

劉謹不問真假虛實，很快在士大夫中間傳播開來，一時間亂倫緋聞鬧得沸沸揚揚。消息傳到一向與歐陽修不和的御史中丞彭思永耳朵里，他立馬找到屬下蔣之奇，問他聽到歐陽修的亂倫緋聞沒有？蔣之奇本是歐陽修一手舉薦的后進之輩，這時卻為了尋找后路，背叛恩師，違心地說知道此事，并相信確有其事。彭思永大喜，立命蔣之奇盡快上書皇帝彈劾歐陽修。此時的宋神宗雖然還不到二十歲，又是剛剛即位，但他決不相信年過花甲的歐陽修會做如此不理智的丑事。他命人詰問蔣之奇消息的來源，蔣之奇無奈，只得承認是從彭思永那兒聽到的。神宗又派人詰問彭思永，彭思永覺得勢頭不對，含含糊糊地回答：“得自風聞。”稱自己年事已高，記不得具體是誰說的了。接著又說：大宋朝歷來允許“風聞”，以廣皇帝之聰，自己積極向朝廷反映問題并沒有大錯，如果因此而獲罪，日后還有誰敢對皇帝說心里話？

直到此時，歐陽修才知道又一次被亂倫緋聞纏身了，又一次無端蒙受了奇恥大辱，真是百口莫辯，悲憤之余，他不再上朝問政，并接連給宋神宗上書，請求徹查此事原委，以正視聽。

宋神宗明白，歐陽修是受到了小人的誣陷，很快就把彭思永和蔣之奇貶到外地任職去了。并親手給歐陽修寫信說：“數日來以言者污卿以大惡，朕曉夕在懷，未嘗舒釋。故數批出，詰其所從來，迄無以報，今日已令降黜，仍榜朝堂，使中外知其虛妄。事理既明，人疑亦釋，卿宜起視事如初，無恤前言。”大意是說，朕把誹謗你的大臣都貶出了京城，并把他們的罪惡張榜朝堂，讓朝廷內外都知道他們所言虛妄之事，你就安心理政吧。宋神宗也是夠盡心的了。

盡管神宗皇帝款言相勸，小人也受到了相應的懲處，但歐陽修仍感受到了仕途的險惡，人情的淡薄，連親戚和門生都如此無德無行，讓他真正的寒心了。還是在地方上好，他自請到亳州(今安徽亳州)做知州。從此以后，歐陽修輾轉于青州(今山東青州)，蔡州(今河南汝南)。

熙寧四年(公元1071年)，經過多次上章，宋神宗終于同意了歐陽修的致仕請求。這年六月，歐陽修來到他夢寐以求的穎州(今安徽阜陽)，過了一年清閑的日子，次年閏七月二十三日，宋代文壇巨摯旗手，一生剛直磊落，寫得一手錦繡文章的歐陽修，病死于穎州家中，享年六十六歲。八月，獲贈太子太師。