ابوالطفیل کہتے ہیں کہ میں ایک مرتبہ سیدنا ابن عباس اور سیدنا امیر معاویہ رضی اللہ عنہم کے ساتھ تھا، سیدنا معاویہ رضی اللہ عنہ خانہ کعبہ کے جس کونے پر بھی گزرتے، اس کا استلام کرتے، سیدنا ابن عباس رضی اللہ عنہما نے فرمایا کہ نبی صلی اللہ علیہ وسلم صرف حجر اسود اور رکن یمانی کا استلام فرماتے تھے، سیدنا معاویہ رضی اللہ عنہ فرمانے لگے کہ بیت اللہ کا کوئی حصہ بھی مہجور و متروک نہیں ہے۔