司馬遹的母親謝玖原是晉武帝后宮的才人，太子司馬衷將結婚之前，其父晉武帝司馬炎派才人謝玖前往東宮，以自己身體對太子進行性教育，讓太子體驗熟悉男女房幃之事。

謝玖不久就有了身孕，她十分害怕太子妃賈南風對自己的孩子下毒手，就向晉武帝求還西宮，生下司馬遹。

直到司馬遹四五歲了，晉武帝才告訴太子司馬衷，司馬遹是他的兒子。

司馬衷這才知道那位教自己性知識，并生下司馬遹的宮女叫謝玖。

謝玖出身于屠夫家庭，她的父親謝氏以宰羊為業。謝玖雖然出身貧賤，但卻貌美賢惠，儀容端莊，因此受選入宮，封為才人。

盡管司馬衷癡呆，但司馬遹卻是十分聰明，司馬炎對他非常疼愛。

據說司馬遹五歲時，有一天夜晚，宮中失火，濃煙騰騰，火光沖天。晉武帝站在火光下看著這沖天的大火。這時，司馬遹拉著晉武帝的衣服走到暗處。

晉武帝非常奇怪，問他為什么？

司馬遹鄭重其事地說，夜晚失火，太混亂了，不能不防意外，你是皇上，不宜在火光之下，暴露面目。

武帝聽了，十分的高興，因為他覺得這個聰明的皇孫可以振興司馬家業！

不久，晉武帝封司馬遹為廣陵王，食邑五萬戶，并選碩學大儒劉宴為師，以孟珩為友，以楊準、馮蓀負責教導文學。

司馬炎還為他精心挑選了幾位德高望重的大臣出任太子師傅：以何劭為太師，王戎為太傅，楊濟為太保，裴楷為少師，張華為少傅，和嶠為少保。

可是，太子司馬遹長大后卻不好學，每天只與左右嬉戲胡鬧，也不知道尊敬師傅，喜愛屠宰牛羊，并貪色好色。性剛且奢侈殘暴，于宮中擺攤切肉賣酒，并在西園銷售雜貨，以收其利。又好算卦巫術，忌諱頗多。

公元290年，司馬炎駕崩，太子司馬衷在靈前即皇帝位，是為晉惠帝，并冊封太子妃賈南風為皇后。

司馬衷即位后，司馬遹被立為太子。

皇太后楊芷的父親楊珧任職太尉、太傅、大都督，統領軍政，總理朝廷政務。實際上，軍政和宮中大權掌握在太后楊芷父女手里。皇后賈南風可不是一盞省油的燈，她暗下決心要奪回大權。

謝玖被冊封為淑妃。但是賈南風卻將謝玖安置在別處，不準太子與親生母親謝玖見面。

九年后，皇后賈南風認為司馬遹不是自己親生的，且性情暴虐，害怕他即位后自己的地位不保，便與賈謐等設計謀害，誣陷司馬遹謀反，囚于金墉城，后徙許昌宮，逼迫他寫下叛逆文字，構陷他鋃鐺入罪，派黃門孫慮將其殺害。謝玖被逮捕后也被拷打而死。