太平興國二年(公元977年)，呂蒙正被錄取為進士第一名，任命為將作監丞、升州通判。向皇帝辭行時，皇帝命令，政事如果有不便處理的，允許騎驛馬前來上告，賜給他錢二十萬。待調回到京師，遇上皇帝親征太原，召他到行宮晉見，任為著作郎、直史館，加任左拾遺。

太平興國五年(公元980年)，皇帝親自任命他為左補闕、知制誥。

當初，其父呂龜圖內眷很多，與嫡妻劉氏不和，把劉氏及呂蒙正一并趕出，呂蒙正母子非常窮困窘迫，劉氏發誓不再嫁人。呂蒙正做官后，迎接父母親同住，父母親住在一個屋子里但不同房間，呂蒙正對他們奉侍得非常周到。呂龜圖不久死去，朝廷詔令起復呂蒙正。不久，升為都官郎中，入朝任翰林學士，擢升為左諫議大夫、參知政事，賜給他麗景門的住宅一棟。

幾度拜相

李日方被罷免宰相后，呂蒙正被任命為中書侍郎兼戶部尚書、同平章事、監修國史。呂蒙正為人厚道寬容，有很高名望，以堅守正道自律。遇事敢出來講話，每次討論時政，有不公允的，一定堅持反對意見，皇帝贊許他能無所隱瞞。趙普是開國元老，呂蒙正是后來提升的官員，歷任各種官職十二年，于是同任宰相，趙普很贊許他。不久，遭母喪，守喪未滿三年，被重新起用。

先前，盧多遜任宰相時，他的兒子剛出仕就授官水部員外郎，后來就被當作常例。就此，呂蒙正上奏說：“臣出身進士及第，出仕時只授為九品京官。況且天下有才能的人，終身隱居于山林，沒有得到朝廷絲毫俸祿的人多得很。現在，臣兒子剛成年，獲此寵任，恐怕遭到上天譴責，請求以臣剛出仕時的官職補任他。”從此宰相的兒子只授給九品京官，成為法定制度。

淳化年間，左正言宋沆上奏疏違逆皇上旨意，宋沆是呂蒙正妻子的族人，因此而罷免呂蒙正吏部尚書一職，又任用李日方為宰相。

淳化四年(公元993年)，李日方被罷免宰相，呂蒙正又以本官任宰相。與皇帝奏對時，談到征伐之事，皇上說：“朕近來的征討，是為百姓剪除兇暴，如果好功黷武，那么天下百姓都滅盡了啊。”呂蒙正回答說：“隋、唐數十年中，四次征討遼碣，百姓疲乏不堪。隋煬帝全軍覆沒，唐太宗運去土木攻城，這樣都最終沒有成功，況且治理國家的重點，在于國內勤修政事，那么遠方之人必來歸服，自然會得到安寧。”皇帝同意他的意見。

至道初年(公元995年)，詔令呂蒙正以右仆射身份出任河南府通判兼西京留守。呂蒙正到洛陽后，常常招引親戚故交歡宴，政事主張寬靜，委任僚屬，政事自己只總體裁決而已。

宋真宗即位，進遷呂蒙正為左仆射。遇到朝廷營建奉熙陵，呂蒙正追憶感戴先朝所給予的優厚的恩遇，貢獻家財三百多萬作為營建經費的補充。宋太宗下葬那天，呂蒙正伏地哭泣極盡悲哀，人們認為合大臣之禮。

咸平四年(公元1001年)，朝廷詔令呂蒙正以本官同平章事、昭文館大學士。本朝以來三次任為宰相的，只有趙普和呂蒙正兩人。郊祀禮后，加封為司空兼門下侍郎。咸平六年(公元1003年)，授給他太子太師一職，封為萊國公，改封徐國公，又封為許國公。

辭官歸隱

景德二年(公元1005年)春天，呂蒙正上表請求辭官回洛陽。到朝廷告辭那天，坐轎到東園門，命令他的兒子扶著他到宮殿，對皇帝說：“對遠方的人要和平共處，停止戰爭節省財用，是古往今來的治國上策，希望陛下經常替百姓著想。”皇上贊許并采納他的意見，于是升任他的兒子呂從簡為太子洗馬，呂知簡為奉禮郎。呂蒙正在洛陽，有園亭花木，每天與親戚朋友宴會，子孫環列，經常向他敬酒祝壽，怡然自得。大中祥符以后，皇上朝拜永熙陵，封禪泰山，祀祠后土，經過洛陽，兩次到他家，賞賜給他很多財物。皇上對呂蒙正說：“卿的幾個兒子誰可以重用？”呂蒙正回答說：“我的幾個兒子都不足任用。臣有個侄兒叫呂夷簡，現任潁州推官，具有宰相的才能。”呂夷簡從此被皇帝垂注。

許國公的封命剛下來，呂蒙正就逝世了，終年六十八歲。追贈中書令，賜謚號為文穆。

1、宰相氣度

宋初名臣呂蒙正在太平興國二年（公元977年）考中進士第一名（即狀元）。他先是被授將作監丞，通判升州，從地方官做起，因政績顯著，不斷升遷。

當他剛到京城任職時，有個朝士很瞧不起他，公然輕蔑地指著他說，“此子亦參政耶？”意思是說，就這樣的人也有資格擔任參知政事（副相）嗎？呂蒙正裝作沒聽見，若無其事地徑直走過去，有個同僚很為他抱不平，準備上去問那個人的姓名，

呂蒙正馬上勸阻說：“算了吧！不值得計較，如果一旦知道了他的姓名，則終身不能忘，還不如不知道呢”。這件事傳開后，人們都稱贊他度量大，修養好。

2、寸步不讓

有一次，宋太宗準備派人出使北方，交代有關部門選拔對象，要注意選“可責以事者”。呂蒙正鄭重地推薦了一個人，宋太宗沒有同意。呂蒙正不肯罷休，第二天又再三地推薦這個人。太宗很不耐煩，便批評說：“我說不行就是不行，你這人怎么這樣固執呢！”

呂蒙正也不客氣，正色回道，“不是我固執，是您根本就不了解情況。”并且語氣異常堅定地說：“如果讓我推薦的話，只有這個人可以，其余任何人都不行，我不屑用媚道妄隨他人主意，以害國事。”同僚們見呂蒙正如此直言，悚然失色。

在呂蒙正的一再堅持下，宋太宗最終同意派其所推薦的人出使。事后證明，呂蒙正推薦這人非常稱職，不辱使命。宋太宗因此對左右說，“蒙正氣量，我不如！”