趙匡胤登上帝位之后，雖然披上了龍袍，坐上了龍椅，但有一塊心病卻在持續困擾著他，那就是五代以來輪番上演的兵變慣性，那些猛士悍將一旦掌握了中央禁軍的兵權，或者盤踞地方，很容易擁兵自重，甚至取而代之。為此，他茶不思，飯不想，睡不安穩。如何杜絕此類事件的重演，是當務之急。

一天，趙匡胤問趙普：“天下從唐末以來，數十年間，換了八姓十二個皇帝，弄得兵革不息，生民涂炭，倘要息兵養民，保持國家長治久安，有什么好辦法呢？”

趙普回答說：“這些禍亂，原因無他，只因節鎮權力過重，君弱臣強而已。如今要長治久安，惟有稍奪其權，制其錢谷，收其精兵，三管齊下，天下自然安定。”趙普話未說完，宋太祖連連稱善，于是，他開始實施歷史上沒有幾個人用過的政治手腕。

收兵權首先是從較疏遠的高級將領開始的。節度使分兼侍衛親軍司馬軍和步軍都指揮使的張光翰、趙彥徽，在開國功臣中分別排名第五、第六位，他們首先被奪兵權。960年七月，宋太祖的“義社兄弟”韓重赟征伐李李筠回來后，立即命他代張光翰為侍衛馬軍都指揮使;趙匡胤篡位之際，挺劍逼迫首相范質臣服的親信羅彥瓌，也于此時被安排代趙彥徽為侍衛步軍都指揮使。張光翰、趙彥徽被奪兵權后，分別改命為永清軍節度使、建雄軍節度使。于是，領軍大將被奪兵權后出為地方節度使，便成為了趙匡胤打發他們的慣用政策。

960年十一月，平定淮南李重進后，收兵權的矛頭指向殿前、侍衛兩司的最高長官。慕容延釗后周末以鎮寧軍節度使任殿前副都點檢。趙匡胤發動兵變滅周建宋時，正率前軍屯駐真定的慕容延釗，被提拔為殿前都點檢。他奉詔自河北率軍西征李筠獲得勝利后，被晉升為侍中，享受宰相待遇。但是，趙匡胤沒有讓他到京城殿前都點檢公署任職，而是安排他回節鎮所在地。當趙匡胤的把兄弟趙彥徽被奪兵權事件發生后，慕容延釗擔心功高震主，便在961年二月到京朝賀趙匡胤生日之際，上表自請解除兵權。

同年閏三月，慕容延釗即被罷去殿前都點檢軍職，移為山南東道節度使，治襄州。殿前都點檢一職也就此廢止。韓令坤在后周時任殿前都虞候及建節都在趙匡胤之前。趙匡胤建宋時，他正以侍衛親軍都虞候巡防北部邊境，隨即也被升為侍衛親軍都指揮使、加同平章事，為使相，禮遇與慕容延釗相同，但也并未回京實際掌握侍衛司兵權。征討李筠時，他奉詔自北疆率軍屯守河陽，雖未參加征討，但平李筠后，也進為侍中級使相。當建隆二年春慕容延釗自請解軍職時，韓令坤雖和宋太祖親密如鐵哥們，但也同時被奪兵權，安排到成德軍節度使。趙匡胤的“義社兄弟”石守信自副都指揮使升為都指揮使，成為侍衛親軍司正長官。

不久，宋太祖收兵權的范圍擴大到自己的親信。961年七月，宋太祖設宴招待石守信、王審琦等高級將領。酒酣之時，趙匡胤卻悶悶不樂起來。石守信等人忙問原因，太祖支開左右，說：“若非你等出力相助，我怎能有今日？你們的功德，我銘記于心。只是今日做了天子，卻常常難以入眠，還不如做個節度使快樂。”石守信等人納悶，忙問為何。太祖答道：“其中緣由極易知曉，做天子如此風光，天下誰人不想？”石守信等人聽到皇帝話中有話，頓覺氣氛不對，均表示如今天命有歸，無人敢懷有異心。不料，太祖卻說：“縱使諸位無異心，若你們的部下貪圖富貴，將黃袍披在你們身上，那也由不得你們了。”此言一出，石守信等人都冒出一身冷汗，皇帝分明是懷疑他們有奪位之心。他們都知道臣子一旦被猜忌，后果很嚴重，便請太祖指點明路。太祖見時機成熟，直截了當地說：“人生如白駒之過隙，所謂好富貴者，不過欲多積金銀，厚自娛樂，使子孫無貧乏罷了。你們何不釋去兵權，購買良田，為子孫立永久之業。又多置歌兒舞女，飲酒作樂，頤養天年？如此，我們君臣間毫無猜嫌，上下相安，豈不為好？”石守信等人跟隨太祖多年，深知他說這番話是經過深思熟慮的。第二天，禁軍將領紛紛上書，稱自己有病在身，請求解除兵權。

于是，石守信移為天平軍節度使，治鄆州，雖仍兼侍衛都指揮使，但兵權已無，而且離京到節鎮居住。高懷德免殿前副都點檢，移為歸德軍節度使，治宋州，以后，殿前副都點檢也不再設置，殿前司的地位也因而降低，以都指揮使為正長官。殿前都指揮使王審琦，出為忠正軍節度使，治壽州。被奪兵權的還有侍衛親軍司的次長官都虞候張令鐸，出為鎮寧軍節度使，治澶州。次年，石守信又被免去了侍衛司都指揮使軍職。從此，侍衛親軍司的正、副長官不再同時并設，甚至缺而不設，侍衛親軍司逐漸以下屬的馬、步二司為直屬機構，地位大為下降。從此，將帥兵變的可能性不復存在。