عدل أبو العتاهية في أخريات عمره ، إلى الزهد والتصوف ، وقيل أنه ترك منادمة الرشيد ، وكان قبلا لا يفارقه في سفر ولا حضر ، وتاب توبة صادقة وسلك طريقا حميدة ، وزهد في الدنيا ، ومال إلى الطريقة المثلى ، وداخل العلماء والصالحين ، ونور الله قلبه .. يذكر أبو الفرج :
" أنه تنسك وتاب ، وحج راجلا على قدميه ، ومات على توبة واقلاع ومذهب جميل " .ويؤيد هذه التوبة الكثير من أشعاره في الزهد بعد ذلك ، وبالأخص القصيدة الرائعة التي هزت كيانه ولبس بعدها التصوف ، والتي يقول في مطلعها :

قطـّعـت منك حبائـل الآمـال ** وحططت عن ظهر المطى رحالي