清光緒七年(1881年)十二月二十四日，時年44歲的張之洞出任山西巡撫。一到山西，張之洞即發現完全出乎意料。原本富庶的山西，受中俄貿易等原因影響，晉商已呈衰落勢頭。1877年山西全境大旱，糧食絕收，民間普遍靠草根樹皮度日，個別地方甚至“易子而食”，而朝廷賑災不濟，賑災糧款被侵吞挪用放貸，民間元氣一直未恢復。所謂的山西“政清事簡”，竟是官員自身懶惰昏庸的托詞。前幾任巡撫或不理政事，或昏庸貪腐，或廉潔但懦弱，導致全省官場吏治腐敗，風氣懶散。多年積習傳染導致的“懶”“散”二病遍及山西全省，官民同病，“懶、散之極，將有魚爛瓦解之憂”。

除通省懶散之外，張之洞還深切憂慮到，“晉患不在災而在煙”。當時山西民眾普遍吸食鴉片，“有嗜好者，四鄉十人而六，城市十人而九，吏、役、兵三種，幾乎十人而十矣。人人枯瘠，家家晏起。堂堂晉陽，一派陰慘敗落氣象，有如鬼國”。除吸食鴉片外，山西全省還大范圍種植鴉片，1877年山西大旱餓死人數眾多，部分原因也在于山西土地多種罌粟而非糧食，遇災荒后農民手中有錢無糧而造成。

以儒家經世濟民思想立身的張之洞面對此種情況，不畏眾人非議，從整頓吏治和作風入手。張之洞以巡撫身份發布的第一道命令，就是考察干部，要求全省各級官員在半個月內，將對下屬的獎懲意見配合具體的實際業績報送巡撫衙門，并特意強調要務求實際，不能以官場套話應付。同時，張之洞發揮自身表率作用，堅持“其身正，不令而行;其身不正，雖令不從”，每天丑正二刻(凌晨兩點半)起床，寅初(三點)批閱文件，辰時(七點)約談下屬官吏，根據上級評價和自己判斷來了解官員。此外張之洞還將家丁從三名減至兩名，負責全部文書收發管理、引見接待賓客、外出跟隨等雜務，來壓縮財政開支。面對張之洞整頓作風的舉措，山西官場如遇地震，習慣了巡撫尸位素餐任事不管的各級官員眾議沸騰，對張之洞“多事”之舉大加指摘。“省城局面，大有聯為一氣，口眾我寡之勢”，明里指責張之洞不合儒家治理思想的輿論壓力，加上布政使葆亨、冀寧道王定安等人暗里糾合親信使絆子打橫炮的阻力，使張之洞治理整頓的第一步就面臨嚴峻考驗。

面對眾口一詞的壓力，張之洞“咬定青山不放松”，以“天人戰勝，看此一兩月耳”來堅定信心，毫不動搖推行整頓。對于暗處的阻力，張之洞啟用李秉衡、馬丕瑤等廉明官員，委以重任，“一人兼二事，甚或三事”，強力推進自己的治理舉措。張之洞上任4個月內，共上奏朝廷保舉賢良人才59人，自己考察發現的操守廉潔、勤政愛民、賑災得力的官員直報朝廷予以嘉獎，用選拔干部的正確導向來輔助整頓。同時，張之洞查明旱災以來貪腐、克扣、擾民、昏聵等官員9名，上奏朝廷予以革職至降職不同處分，大大震懾了暗中使壞破壞整頓的葆亨等小集團氣焰。經過不到半年的勵精圖治，張之洞逐漸扭轉了官員的懶散作風，走出了最為艱難的困頓時期，認識到“晉事大有可為”，“今日之晉，雖不能為強國，足可以為治國，斷不至如從前之頹墻倒壁、烏煙瘴氣也”，“朝廷若假以三年，當為國家治之”，展現出對治晉圖強的強烈信心。

經過初步整頓之后，張之洞于任職半年之際，向朝廷上《整飭治理折》等五封奏折八份附片，系統匯報了自己治理山西的執政思路，其中包括養民務本、養廉課吏、去蠹理財、輔農興利、重士善俗、固圉圖強等六個方面二十種具體舉措，展現出以“治國平天下”為己任的特點。在整肅吏治方面，張之洞發現官員貪腐不盡職，不計官職高低一并查處。針對山西省財政賬目胡亂不堪的情況，張之洞選派清明廉潔官員負責成立清源局，逐筆清理30余年未清理的財政賬目。清查中發現藩司葆亨和冀寧道王定安存在貪腐行為，張之洞毫不顧忌二人為當時朝廷紅人、兩廣總督曾國荃的親信，而上奏朝廷將二人革職充軍。有一個黑惡勢力糧油商人劉定邦(納捐得游擊銜，從三品，無實職)，張之洞發現他雇用打手強買強賣等不法行為，下令將其秘密逮捕，查明罪行后革職充軍，一并掃除這一黑惡勢力。除此之外，張之洞先后上奏朝廷，對屢發盜案而不能盡職破案的地方現任和前任文武官員11名分別給予嚴懲;革職查辦對私自侵吞稅款的官員3名;降職處理4名不法綠營武官。對于發現的不法官員，即使已經調任外省，張之洞一并上奏朝廷，要求他省協作抓捕后回晉治罪。

針對山西全省的煙患，張之洞特意研究制訂了系統的禁煙措施：一是幫助煙民戒煙。效仿李鴻章在天津設戒煙局的做法，大量購買戒煙藥品免費發放。二是嚴禁種植。明確嚴禁種植罌粟的同時，根據各地情況由農民自行選擇種糧、棉或經濟作物，對特別困苦的農民免費提供糧種。三是親自抓落實。逐一過目各縣報告，逐一批示，并反復組織州縣之間互查。如對崞縣與其所屬代州上報不一致之情況，張之洞要求該縣令親自查訪，不能單純相信鄉保的保證，并指出“該令向有篤守積習，自系聰明之病，毋再以此嘗試也”。又如對繁峙縣報僅種數畝的情況，批示“該令素欠精明，大率聽信丁役欺己之言，因即用以欺騙上司耳。現委雁平道往查，務得實在。該令好自為之，勿以多年讀書辛苦之官，棄之于‘昏、惰’兩字也”。由上述批示也可見張之洞對各縣縣令性格的了解熟稔程度。四是獎懲并舉。張之洞對禁種成效突出的官員優先保舉，對初辦不積極、經督查后才盡力的進行警告，對承辦不力的留用察看，對虛報瞞報的請旨撤任。五是立足實際不急功近利。張之洞上奏朝廷指出，從各地上報情況、本省戒煙藥物銷量和外省進入山西之鴉片數量綜合判斷，全省總體禁種80%，如能同心協力堅持，“三年以后，可期此害永除”。

對于治理山西的舉措，張之洞自稱是“儒術經常之規”，意思是經過歷史檢驗的治理方法。經過實際推行，山西省財政比清查前增多白銀七萬余兩、核銷欠款五十萬余兩，賬目混亂之弊一應掃除，財政負擔大大減輕。后御史建議朝廷在全國推廣山西清查庫銀的章程做法。作風整頓建設方面張之洞裁汰陋規，改革公費報銷制度，禁止饋送官員水禮等，僅第一年一次就裁減巡撫衙門辦公經費一萬九千余兩和伙食補貼六千兩，將全省辦公經費逐項研究進行裁減，一并廢除“查庫門包”等陋習，貧苦州縣全免原來負擔的山西省公費，非貧苦州縣將原承擔公費份額減半。經統計全省上下僅裁減公費一項全年節省開支七萬八千余兩。在養民撫農方面，張之洞根據山西承擔差徭、攤捐等情況，在全省以魚鱗冊清查土地，上奏朝廷前任地方官員虛報墾荒田畝數量的情況，以減免百姓錢糧差徭;清理全省負擔各類朝廷攤派，請朝廷允許以地方賦稅折抵山西應上交朝廷之平鐵五年，不再向山西攤派本地不再出產的綢絹紙張。在張之洞與山西官民的共同努力下，山西人民之負擔大大減輕，旱災所傷的民眾元氣也逐漸恢復。