22 رمضان المبارک 273 ہجری بمطابق 887 عیسوی کو 64 سال کی عمر میں پیر کے دن آپ نے داعی اجل کو لبیک کہا اور دارفانی سے رحلت فرما کر داربقا میں تشریف فرما ہوئے۔ «اللهم اغفرله وارحمه وعافه واعف عنه» آپ کی تجہیز و تکفین میں آپ کے برادران ابوبکر اور عبداللہ اور صاجزادہ عبداللہ پیش پیش تھے۔ آپ کی نماز جنازہ آپ کے بھائی عبداللہ نے پڑھائی۔
متعدد شعراء نے آپ کی وفات حسرت آیات پر درد ناک مرثیے بھی لکھے۔ محمد بن اسود قزوینی کا ایک شعر حافظ ابن حجر رحمہ اللہ نے تہذیب التہذیب میں ذکر کیا ہے «لقد أوهي دعائم عرس علم *** وضعضع ركنه فقد ابن ماجه» ”ابن ماجہ کی موت نے ایوان علم کی بنیادوں کو کمزور کر دیا اور اس کے ستون کو ہلا کر رکھ دیا۔“