胡雪巖擁有資產近3000萬兩白銀的家業，田地萬畝。事業有成的胡某人顯露出“暴發戶”的淺薄和荒淫。他在生活方面極盡奢靡，處處顯露出那種趾高氣揚的神氣。《胡光墉傳》記載：胡雪巖修建“第宅園囿，所置松石花木，備極奇珍。姬妾成群，筑十三樓以貯之。”也有資料說“大起園林，縱情聲色，起居豪奢，過于王侯，驕奢淫逸，大改本性。”他耗巨資營造的庭園被譽為“江南第一豪宅”。

胡雪巖酷愛女色，他經常在街市上尋覓美色，看見有姿色的美麗女子，就請人說和，身價再高也不計較，而且還會給女方的家人安排好差事。他仗著有財有勢，把冒犯他的女子娶回后再休棄，肆意侮辱良家女子。他強買民女，通常只過三五天或一兩個月，新鮮感一過不喜歡了就給銀數百兩，任其改嫁。據《見聞瑣錄》記載，遭到他喜新厭舊拋棄的“凡買而旋遣者，殆數百人。”

《南亭筆記》記載：有一天，胡雪巖穿著樸素的衣裳到一個妓女處。那妓女看胡雪巖的窮酸相以為沒多少油水，便懶得理他。只有一個老婦人殷勤招待了他。第二天，胡雪巖派人給老婦人送了兩包金葉子。妓女那叫后悔啊，讓老婦人跟著來人去請這位財神。胡也挺給面子，再度光臨，然而卻是徐庶進曹營一言不發，只是捻須微笑，嘲諷妓女有眼不識他這座泰山。

《莊諧選錄》載有：胡雪巖一次經過一家裁縫店，見門口一個苗條女子很是上眼，就盯住多看了幾眼，那女子覺察之后，急忙關門進入屋內。胡雪巖的自尊心受到了傷害，于是派人拿巨資向其父親提親要納其為妾，女子之父見錢眼開答應了。胡雪巖擇日將這女子娶回，在新房里，胡雪巖自己喝著酒，然后讓新娘子裸體躺在床上，又讓仆人在一邊高舉著大蠟燭，他來回踱步看著這新人，放聲大笑說：“前幾日你不讓我看，我偏要看。現在你還有什么辦法制止我？”說完推門而去，到別的小妾房中過夜。第二天派人對這女子說：“這間房中所有的物件都可以拿走，你可以改嫁他人，這里沒有你的位置。”

胡雪巖姬妾成行，號稱“十二金釵”，分住院內長弄中各樓，按序各占一室。到了晚上，侍女端上盛有各姬妾牙牌的銀盤，胡雪巖隨手翻一個，侍女就按牌上名字叫這個姬妾侍寢，宛如皇上翻牌子一樣。胡雪巖每天早晨起床，由傭人端上用翡翠盤盛著的青黃赤白各色寶石若干枚，讓他“養目”。每日合家大小還要鷺序般的去上房恭請晨安。至于唱戲祈福，擺酒張筵，無不窮極奢華。胡雪巖喜歡和眾多的姬妾一起嬉戲、玩樂。他讓諸妾穿上寫著“車”“馬”“炮”字樣的紅藍馬甲，登到在高臺上畫好的棋盤，紅藍對峙，胡雪巖和夫人在欄桿后用竹竿指揮她們，“下活棋”。胡雪巖和姬妾一起過著肉林酒池、歡歌盛宴的奢靡生活。享樂縱欲無度，揮金如湯沃雪。派頭甚至超過了一些勤政節儉的皇帝。

胡雪巖雖聰明一世，在生意場上八面玲瓏如魚得水，但在官場上卻是個“低能兒”，政治上的“不成熟”，不諳官場規則，成為李鴻章“排左先排胡，倒左先倒胡”策略的祭品，做了左宗棠與李鴻章政治斗爭的“犧牲品”。