公元1137年，即紹興七年，二月，岳飛奉命進京述職。皇帝在他的“寢閣”就是臥室里單獨召見了岳飛。皇帝對岳飛說：“光復國土，中興大宋這項事業，我就托付給你了。從今以后，除了韓世忠、張俊之外，其余的軍隊都交給你節制。”！如果這一切順利實現，這位青年將軍與對他有知遇之恩的青年皇帝，君臣二人的人生事業將可能達到一個令人目眩的光輝頂峰。至此，岳飛迎來了自己生命中的黃金歲月。可是，后來發生的有關誰來接管劉光世淮西部隊的問題，徹底終結了君臣二人的情誼。當時宋高宗將劉光世兵權收回，想要任命岳飛接管劉光世大軍。樞密使張浚不同意。他特意召見岳飛，兩人發生了如下談話。張浚說：“淮西這支部隊很服氣王德，現在準備任命他擔任總管，酈瓊擔任副總管，你以為如何？”

岳飛回答：“王德和酈瓊素來不相上下互不服氣，這種安排必導致二虎相爭。呂祉雖是通才，畢竟是書生，不習軍旅，恐難服眾。”張浚問：“張俊怎么樣？”岳飛回答：“我本不敢說三道四，但為國家利益考慮，恐怕張宣撫性子太暴躁，缺少謀略，劉光世部下會不服。”張浚陰沉著臉，沉默片刻，又問：“楊沂中應該高出這二人了？”岳飛搖頭道：“沂中雖勇，和王德差不多，怎么駕馭得了這支部隊？一旦處置不當，變亂可能在彈指間就會發生。”張浚終于忍不住了，說出了一句相當傷人的蠢話：“我就知道非太尉你來不可。”岳飛也忍不住了，憤慨地說：“都督您正兒八經地問我，我不敢不據實回答。難道我是為了圖謀這支部隊嗎？”雙方把話說到這個份上，已經全然沒了回旋余地。岳飛離開都督府，立即上了一道奏章請求辭職。然后未等批復，就把軍中事務委托給助手張憲代管，自己回到廬山，給母親掃墓守孝去了。

結果，不該生氣的人——宰相張浚和皇帝趙構絲毫沒反省自己的意思，他們比該生氣的人生的氣還大。《宋史》記載，此后張浚多次上奏彈劾岳飛：“岳飛處心積慮，一心想兼并別人的部隊。此次辭職，真實意圖是要挾皇帝。”這種不負責任的彈劾，具有極其可怕的殺傷力，岳飛陷入險惡的旋渦中。岳飛是天才的軍事統帥，富有軍事上的洞察力，在政治上卻表現出十足的幼稚。可能的推測是，此時，岳飛仍心懷對趙構知遇之恩的感激，潛意識里希望用這種賭氣的方式，喚起皇帝的覺悟。從后來的發展看，趙構基本接受了張浚的說法，在心理上關閉了對岳飛理解與信任的大門，只剩下利用。利用完后，則是誅殺。中國歷史上，失去信任后，皇帝誅殺功臣的事不勝枚舉。這可能是中國“過河拆橋”、“卸磨殺驢”之類格言諺語比其他國家和民族多得多的主要原因。

趙構采取了很絕的方法處理岳飛辭職事件，他給岳飛最主要的助手下了嚴厲的命令，讓他們敦請岳飛復職。如違抗，或做不到，就行軍法。于是，李若虛二人只好來到廬山東林寺勸說岳飛出山。岳飛很惱火，堅持不肯。一直僵持到第6天。李若虛說：“難道你想造反嗎？難道讓你出來不是好事嗎？你堅持不干，朝廷怎么會不懷疑你？想想看，你不過是農夫出身，受天子委托，掌握這么大的兵權，你是不是覺得可以和朝廷抗衡了？如你堅持不復出，我們二人受刑死掉，應算是沒什么對不起你了吧？可你一點都不覺得有愧于我們嗎？”這番話，很可能將此時趙構深藏在心底、想說而沒說的話說了出來，魔鬼般預示出岳飛的命運。