1944年，為了打通從中國東北到越南的大陸線，扭轉十分不利的太平洋戰局，日軍調集50萬兵力，且陸海空配合，實施“一號作戰計劃”。這是日軍侵華以來在中國戰場上發動的最大規模進攻，史稱“豫湘桂戰役”。同年4月，日軍占領鄭州，一個月后，許昌、洛陽相繼失守，6月中旬長沙淪陷，隨后日軍向衡陽進犯。

衡陽是連接東南和西南的戰略要地，如果失守，日軍必然會直取桂林。美軍在西南苦心經營的飛機場將化為泡影，陳納德的幾百架飛機恐怕連降落的地方都沒有了。

此時，駐守在衡陽的是方先覺的國民革命軍第10軍，下轄周慶祥第3師，葛先才預10師，容有略第190師一個團，協防的饒少偉暫54師一個團，共計17600人，但真正投入的戰斗力不到15000人。

而日軍擔任主攻的是橫山勇第11軍第68師團與第116師團，加上助攻的幾個師團，約10萬人。

6月23日，日軍分左中右三路包抄衡陽。方先覺率第10軍英勇抗擊，但瓦子坪陣地被敵突破，守衛該陣地的一個營長被就地正法，全體將士聞之肅然，此后無一退縮者，多次擊退日軍。

三天后，衡陽城東湘江東岸的機場被日軍占領，并形成了對衡陽的包圍。之后，日軍就渡過湘江，對歐家町、黃茶嶺，向停兵山、高嶺、江西會館主陣地猛攻。

國軍守軍決心與敵人拼至最后一顆手榴彈。激戰一天后，停兵山、高嶺據點守軍全部犧牲，無一生還，而日軍也被殲二千人以上。惱羞成怒的日軍，在之后的進攻中施放毒氣，守衛五桂嶺陣地之第七連，除不在陣地的特務長、炊事員4人外，全連全部中毒身亡。

7月11日晨，日軍發起第二次總攻擊，向衡陽城垣傾瀉了大量的炸彈--燃燒彈和各種毒氣彈，城內囤積的糧彈，多被焚毀。

但守軍不畏犧牲，在支前群眾的積極配合下，堅守陣地，抵抗極為頑強，往返沖殺，對敵逆襲，與日軍反復爭奪一些要點。張家山小高地，失而復得三次。黑徽聯隊以死傷過半的代價，也無法接近守軍的核心陣地。

四天后，守軍退西禪寺、張飛山，改守第二線。日軍繼續對衡陽城猛烈轟炸，逐次奪取城郊據點，壓縮包圍圈。

第10軍官兵傷亡巨大，加上醫藥匱乏，傷者自愿留在陣地，與日軍同歸一盡。

而日軍也付出了重大傷亡，聯隊長一名、大隊長六名相繼被擊斃，不得不于19日再次停止進攻。

日軍經過十天的重新部署，于7月30日進行第三次總攻。首先以飛機大炮向核心陣地和市區狂轟濫炸，緊接著，日軍從南北西三面猛攻核心陣地，戰斗異常激烈。

期間，中國空軍兩次向衡陽城內投下蔣介石的手令，令方先覺軍堅守衡陽城待援，但日軍拼死圍堵中國援軍。

經46個晝夜激戰，中國守軍未得休整，非戰斗減員嚴重。陣地相繼失守，將士視死如歸。

最后，方先覺向重慶國府發出最后一份電報稱：“敵人今晨由北門突人以后，即在城內展開巷戰，我官兵傷亡殆盡，再無兵可資堵擊，職等誓以一死為報國家……來生再見。”蔣介石回電：“祝上帝保佑你們。”

8月8日清晨，衡陽落入敵手。

根據美國國會圖書館記載：此次戰役，中國軍隊死傷1.5萬人，其中7400人捐軀;而日軍則付出了超過7萬人死傷、4.8萬人被擊斃的慘重代價。

這場戰役也導致日本首相東條英機直接下臺。