朱元璋登基之后，立即召集文武大臣商議朝政，探討為什么強盛的元朝會滅亡，大明王朝的當務之急是什么，如何才能使大明政權長治久安。群臣各抒己見，朱元璋最后總結大家意見說：“元朝統一海內，建國之初，政治還算清明，后來貴戚擅權，奸邪得寵，任用親舊，結為朋黨，內外官吏貪婪無恥，于是法度松弛，紀綱日壞，最終土崩瓦解，不可救藥。現在大明創立之初，必須嚴肅法度，法度就是治理天下的根本。”朱元璋緊緊圍繞著這些問題，頒布新法，在封建的政權機構、官吏制度、治民措施等方面進行了一系列的改革。

朱元璋首先從改革政權機構、官吏制度著手。登基之初，朱元璋基本上沿用了元朝的制度，在中央設中書省，有左、右丞相，統轄吏、戶、禮、兵、刑、工六部;地方設行中書省，執掌地方軍政事務。這是當時穩定社會的權宜之計。在政權逐漸穩定后，朱元璋籌劃重建一套新的政權機構。最初的一段實踐，也充分證明元制必改，否則遺患無窮。朱元璋經過認真的謀劃后，決定采取先地方后中央的策略，對政權機構進行改革。

公元1376年，朱元璋為了避免重蹈元朝國家分裂的覆轍，將行中書省改為承宣布政使司，簡稱布政司，但習慣上仍稱省。布政司設左、右布政使各一人，統管一省的民政、財政。布政使是朝廷派駐地方的使臣，負責宣布皇帝的政策、法令，必須事事完全秉承皇帝的旨意，否則，隨時可以罷免。

另外，又設提刑按察使司，負責一省境內的刑法犯罪之事，其長官為按察使。設都指揮使司，執掌軍務，其長官為都指揮使。布政司、按察司、都指揮使司合稱“三司”。三司互不統屬，均屬皇帝派出的機構，直接對皇帝負責，統屬中央。這樣，財政、行政和刑察、軍務各自獨立，互相牽制，大權收歸中央，直接受中央控制。

省下設府，府設知府一人，掌一府之政。知府到任，多有皇帝親賜給敕書，以加強權威。另設同知、通判，分管清匪、巡捕、農耕、水利、牧馬等，還有推官，掌管刑名。與府同一級別的還有直隸州，即直接受省的領導，長官是知州，地位同知府平級。府下設縣。縣設知縣一人，掌一縣之政;設縣丞一人，主管農、糧、馬事;設主簿一人，負責巡捕、盜賊之事。這種改革，使元朝設置的路、府、州、縣簡化為三級，更便于統治。

經過省一級的改革，地方的民政、財政、軍事、政法等控制大權，全都集中到了中央。中書省的職權越來越大，有時竟同皇帝發生沖突。這使朱元璋認識到：中央機構的改革也勢在必行。早在登基之初，就有人給朱元璋上奏，列舉了元朝滅亡的種種原因。朱元璋看后說道：“你說的都不是最重要的，元朝的滅亡在于委任權臣，下邊事不通過中書省便不能達到皇帝手中，上下蒙蔽，造成大臣擅權跋扈。”洪武十三年(公元1380年)，此話果然言中，丞相胡惟庸在朝中大權獨攬，拉幫結派，排除異己，陰謀政變。朱元璋靠著直接控制的禁軍和特務組織，才捕殺了胡惟庸及其黨羽，當時被殺者達三萬多人。朱元璋趁機廢除了中書省和丞相制，對中央行政機構進行了徹底的改革。

廢除了中書省之后，朱元璋提高原屬中書省轄的六部權力，以六部治國。并且規定以后子孫不準設丞相一職，如有人敢奏請設丞相者處以極刑。這個規定在明朝后來的帝王中，沒有一個敢違背的。這樣，朱元璋既是皇帝，又兼行丞相職權，從而使他成為中國封建社會中最為集權的皇帝。

廢除了中書省和丞相后，大大小小的政務都全部集中到朱元璋的手中。這樣，他每天要處理的事非常多，需要有人輔佐。因此，朱元璋在廢除丞相后，便設置了殿、閣大學士，讓他們隨侍左右，以備顧問，但不能參與政務，也就是說他們只相當于皇帝的私人秘書。

將帥和軍隊之間的關系，歷來是皇帝最為傷腦筋的事情。打仗必須靠軍隊，軍隊則必須有統帥，但是，將帥手中握有重兵，易產生驕悍、不易控制的狀況。以往的皇帝為解決這個問題，采取了“兵無常將，將無常兵”的措施。朱元璋將元朝統兵的樞密院改為大都督府，節制諸軍務。但不久，他仍覺得大都督府權力太大，便又將其一分為五，即前、后、左、右、中軍都督府，讓他們互相牽制。都督府管理軍隊、軍政，但必須聽從兵部的命令。兵部有發布軍令、銓選軍官之權，卻不能統率軍隊;都督府有統率部隊的權力，卻無權發兵、調兵。如果有戰事，皇帝下令，兵部傳令，都督府率兵打仗。這樣，兵權也集中到了皇帝手中。

司法監察機關在元朝叫御史臺，專門審察、彈劾百官。朱元璋改御史臺為都察院，職權是糾劾百官，辨明冤枉。都察院設左右都御史，統轄監察御史。監察御史官職不高，權力很大，對各級官員都有權力彈劾、告發。

經過一系列的政權機構改革，朱元璋把全國的軍政大權都集中到中央，最后歸自己一人掌握，使封建皇權專制制度達到最高峰。在他的苦心經營下，自己的統治機構更加完善，威懾力量更加強大。

朱元璋自己也認為這一套統治制度是極為嚴密的，是確保朱家王朝“萬世一統”的最好的制度。他特地編訂了一部《明皇祖訓》，要求他的子孫必須世代遵守，不得改變。