自明開國以來，一直存在倭患，嘉靖時期，倭患已經愈演愈烈。嘉靖二年，日本兩批使臣先后來華朝貢貿易，因市舶司的太監對待不公，互爭貢使資格，引發大規模的仇殺，史稱"爭貢之役"。此后不久，明朝罷市舶司，并嚴申海禁。正常的貿易渠道被堵死，在暴利的誘惑下，更多的亡命之徒鋌而走險，攻城略地，燒殺搶掠，無惡不作。嘉靖年間，東南沿海地區的倭患驟然加劇，浙江和南直隸為甚，沿海百姓生活在水深火熱之中。

在此背景下，胡宗憲出任浙江巡按監察御史，可見朝廷對他寄予厚望。胡宗憲也感到責任重大，臨行前立下誓言："我這次任職，不擒獲汪直、徐海，安定東南，誓不回京。"上任伊始，胡宗憲針對轄區內明朝官兵紀律松弛、軟弱渙散的積弊，以嚴明賞罰為手段，大力進行整頓。通過胡宗憲的努力，明朝官兵的軍容、軍紀有了改觀，士氣也逐漸有所恢復。

不久，工部右侍郎趙文華受內閣首輔嚴嵩的推薦，以祭海神的名義，被派往江南督察沿海軍務。趙文華是嚴嵩的義子，為人奸詐驕橫。他排擠、陷害忠良，浙江總督張經、浙江巡撫李天寵都先后因其陷害而被殺。如何和這種人搞好關系而不致于誤了正事，胡宗憲對此非常清楚。因此在與趙文華共事的過程中，胡宗憲謹慎小心，有時甚至行事圓滑，最后不僅沒有受到趙文華的阻撓，還得到了后者的贊賞。在趙文華的大力推薦下，世宗很快就擢升胡宗憲為兵部左侍郎兼都察院左僉都御史，又加直浙總督，總督浙江、南直隸和福建等處的兵務。此時，胡宗憲可以調遣江南、江北、浙江等省重兵，所掌握的權力要比一般總督大得多，他兒子和他因此也較貪。

胡宗憲知道自己大展宏圖的機會來了。他一方面招攬、重用各種杰出的人才，如重用俞大猷、戚繼光等名將，把頗負盛名的文人徐渭招到自己的幕府中來;另一方面，有驍勇善戰的將領，還得有訓練有素的士兵，胡宗憲支持部下練兵，其中成就最大者當屬戚繼光訓練的戚家軍，后來發展為抗倭主力軍。在胡宗憲的抗倭斗爭中，胡宗憲擒汪直、殺徐海，兩浙倭患暫告平息。

至嘉靖四十一年，胡宗憲主持的抗倭斗爭取得了前所未有的勝利，漸次平息浙江的倭患，并開始剿滅福建的倭寇。

嘉靖四十一年五月，內閣首輔嚴嵩被罷官，其子嚴世蕃被逮。胡宗憲是由嚴嵩義子趙文華的舉薦而屢屢升遷的，很多大臣的眼里，他屬于嚴黨。趙文華已死，嚴嵩失寵，胡宗憲的處境也就岌岌可危。這年年底，在新任內閣首輔徐階的授意下，南京給事中陸鳳儀就以貪污軍餉、濫征賦稅、黨庇嚴嵩等十大罪名上疏彈劾胡宗憲。王世貞曾說："我知道胡宗憲的功勞，可他被徐階所壓制，不能表白他的冤屈。"看來，這一切都是新任內閣首輔徐階直接操縱的，胡宗憲自然無力與其抗衡。