حُكي أن الحجَّاج خرج في بعض الأيام للتنزُّه، فصرف عنه أصحابه وانفرد بنفسه، فلاقى شيخاً من بني عجل فقال: من أين أنت يا شيخ؟ فقال: من هذه القرية. قال: ما رأيكم في حكّام البلاد؟ قال: كلُّهم أشرار يظلمون الناس، ويختلسون أموالهم. قال: وما قولك بالحجَّاج؟ قال: هذا أنحس الكلّ، سوَّد الله وجهه ووجْه من استعمله على هذه البلاد.
فقال الحجَّاج أتعرف من أنا؟ قال: لا والله. قال: أنا الحجَّاج! قال: أنا فداك، وأنت تعرف من أنا؟ قال: لا، قال: أنا زيد بن عامر مجنون بني عجل، أُصرَعُ كلّ يومٍ مرةً في مثل هذه الساعة فضحك الحجَّاج وأجازه.