張樓位于安徽泗縣東北部，是淮北根據地連接東西的必經要道，戰略地位十分重要。

1938年秋，日軍侵占泗城后，張樓大惡霸地主張海生投靠日軍，被委任為偽淮海省“剿匪”第6總隊司令兼自衛團長。張海生依仗日軍支持，強拉民伕，在張樓挖圩壕、修炮樓、建據點，并以此為依托，經常襲擾我泗睢、泗宿縣抗日根據地，先后捕殺我八路軍、新四軍干部戰士、民兵、群眾等百余人。周圍數十里的人民群眾無不對之切齒痛恨，盼望我軍早日拔除這一抗日根據地內最大的漢奸據點。

在抗日戰爭期間，八路軍隴海南進支隊、蘇魯豫支隊共同曾于1940年4月發起攻打張樓的戰斗;新四軍第4師9旅25團也曾于1941年再次攻打張樓，兩次對其攻擊均因條件不成熟和附近日軍出兵增援未獲成功。隨著抗日形勢的好轉，為打破敵我長期僵持局面，暢通淮北根據地東西往來之路，新四軍決定于1944年6月再次對張樓據點張海生部發動攻擊。

張樓分前后張樓。前后張樓兩個圩子及7個外圍據點共駐有偽軍2000余人，且裝備精良。新四軍4師首長決定由9旅26團先攻克后張樓，待后張樓攻克后，再乘勝攻克前張樓。后張樓由大漢奸張海生率部400余人駐守，該據點工事堅固，圍墻高4米，墻外溝寬水深，沿圍墻筑有20多個地堡，據點四角各有一個高大堅固的碉堡。外壕溝寬約10米，壕內埋有竹簽、三角釘等物。團里決定1營為主攻營，3營為副攻營，1營分配我所在的1連為突擊連。

戰斗發起前，我連在沙盤上進行了演練，旅長韋國清親自指導我們連沙盤作業。6月17日黃昏前，團部用炮火轟擊敵據點內東北角的大炮樓。在炮火的掩護下，我連兵分兩路向據點內敵人發起了猛烈沖鋒，各突擊隊按指定的任務，奮不顧身地跳下圍壕，豎起梯子，爬上了圍墻，猛擲手榴彈，大約15分鐘即突入圩內，并迅速占領兩個地堡及附近陣地，打開了突破口。接著連隊的二梯隊也迅速投入了戰斗，連續打退了敵人的多次反沖鋒。

經過激烈戰斗，我連又很快占領了據點內的一片佃戶房。由于敵人大部已退守據點之大瓦房院內繼續頑抗，并用各種火器向我突入圩內的戰士猛烈掃射，部隊無法前進。為了盡快消滅敵人，我軍(9旅)及時調來一門自己制造的平射迫擊炮，用這門炮把敵人大瓦房院東北角的炮樓打開了一個洞，戰士們隨即勇猛沖入，以刺刀、手榴彈與敵人拼殺。此時，大瓦房院內之敵已慌作一團，曾幾次企圖突圍。我連立即命令部隊要全殲院內的敵人，并一鼓作氣逐屋作戰，全殲了院內的敵人。此次戰斗共俘虜偽軍大隊長以下269人，打死64人，繳獲重機槍一挺，輕機槍4挺，擲彈筒7具，步槍362只。隨著我團攻占后張樓，前張樓守敵發生動搖逃跑，被我4師11旅殲滅。當日上午泗縣城日偽軍400余人在飛機掩護下，企圖接應前張樓之敵突圍，又被我9旅25團殲滅。

張樓大捷后，新四軍陳毅軍長特來電祝賀，電文稱：“經一晝夜激戰，將前后張樓之敵全殲，全賴你們指揮有方，全體指戰員用命，發揚了英勇頑強的戰斗作風，殊堪嘉獎……”