諸葛亮十分尊敬待德公，每次探訪龐德公，都獨自一人拜見于床下。后來諸葛亮逐漸得到龐德公的注意和重視。

龐德公是東漢末年襄陽名士，論學識名望，當在許多幕僚之上，但他一生未入仕。不是他沒有做官的機遇，而是他不愿做。

劉表當時治荊州，治所就在襄陽。由于荊州沒有戰亂，加上土地豐饒，全國有十余萬人遷入荊州，這中間也有一大批才華出眾的人，如諸葛亮、王粲、徐庶等，或求學、或求仕。這就使得襄陽成為全國人才最集中的地方，也是學術交流最為活躍的地方。但劉表不識人才，諸葛亮、徐庶等就在他眼鼻子底下當隱士，而王粲在他麾下當了個小官，則也發揮不了作用。

劉表統治的荊州，沃野千里，帶甲十余萬，在全國是一支重要的政治和軍事力量。劉表雖無統一大志，但他也不愿看到自己的勢力被削弱。劉表如荊州后，依靠的是蒯良、蒯越、蔡瑁等襄陽大士族。這些人可同享榮華富貴，但不能安邦定國。劉表采取的是雍容自保，坐觀時變的方針。但當時荊州已經成為各種政治勢力爭奪的焦點。曹操在北方基本平定的情況下，正準備揮師南下，而孫權則虎視江漢，早欲將荊襄據為己有。劉表正是看到了這一點，他深感無賢人輔佐，于是乎，他把希望寄托雜在名重天下的龐德公。

劉表多次登門求賢，但一次次的遭到謝絕。有一次劉表對龐德公說：“先生苦居畎畝而不肯官祿，后世何以遺子孫乎？”龐德公回答說：“世人皆遺之以危，今獨遺之以安，雖所遺不同，未為無所遺也。”意思是說，有人出來做官，參加混戰，這不是把危險留給子孫嗎！我不做官，卻把平安留給子孫，雖然遺留的內容不同，但并不是沒有遺留啊！對于龐德公的這種態度，劉表只好嘆息而去。龐德公為了躲避劉表再來找他，干脆把家搬到鹿門山，以采藥自樂。

龐德公為何拒絕當官呢？論理，古人讀書就是為了入仕。說大點可以濟世救國，說小點可以光宗耀祖。歷代圣賢莫不如此。盡管龐德公有“遺之以安”之說，那則是對付劉表的托辭。由此，我們只能設想，龐德公并非不想做官，而是未尋著明主。他的學生諸葛亮、侄兒龐統被劉備請去，并沒有聽到他的反對意見，相反，他把諸葛亮稱為“臥龍”，龐統稱為“鳳雛”，為他們的出山造了大量輿論。所以，龐德公拒絕做官，僅僅是拒絕在劉表手下做官。

龐德公的這個選擇也許是對的。假設他答應了劉表，在劉表手下做個高級幕僚，且不論能否象荀彧那樣在曹操手下發揮作用，恐怕官位未穩，就已經成了劉表的繼承人劉琮降曹的陪伴人了。王粲不就是走的這條路么？