2004年12月9日，袁偉民在離任之際說過這樣一番話：“47年的體育工作，充滿了緊張、激烈、挑戰(zhàn)和艱苦。離任之后，我會參加到全民健身的行列中去，鍛煉身體、享受人生。”果然，解甲歸田后，他幾乎消失在人們的視線中，而是回歸了自己想要的那種生活：讀報、寫字、干家務(wù)……

　　曾經(jīng)運動員的經(jīng)歷，使得70歲的他玩起各種項目都得心應(yīng)手，最喜歡的則是網(wǎng)球和高爾夫。身為中國高爾夫協(xié)會主席，袁偉民偶爾會為一些活動開桿，而平日和他打球的，大多是他在工作中結(jié)識的朋友和往日的弟子，當(dāng)年的老女排隊員們都知道袁偉民的這個愛好，所以經(jīng)常招呼“袁頭”出來打球吃飯，在陽光下草地上暢享家庭聚會般的日子。國家體育總局訓(xùn)練局的網(wǎng)球館里，也常常出現(xiàn)他的身影。據(jù)媒體介紹，書法也是袁偉民的業(yè)余愛好，閑暇時，他還會幫助夫人做家務(wù)，琢磨些居家過日子的小竅門。

　　在擔(dān)任中國體育掌門人的那些年，袁偉民非常低調(diào)，從不接受電視專訪，退休之后，幾乎所有的著名主持人都通過各種關(guān)系要求采訪，但都被他婉拒，因為在他看來：電視是需要剪輯編輯的，難免被斷章取義，是自己無法掌握的；寫書就不同了，“終審權(quán)”畢竟掌握在自己手里。所以這五年來，“我自己也在思考，也在總結(jié)”，然后才開始動筆，“下來后，(大家)都看不到我了，(關(guān)于我的)傳說很多，好的壞的都有，我看得很淡。”今年10月，正好是他從事體育工作50周年。