أعلن جبلة بن الأيهم إسلامه، ووفد على عمر بن الخطاب رضي الله عنه، فتلقاه بالترحيب، وأنزله منزلة عظيمة.
وبينما كان جبلة بن الأيهم يطوف يوماً بالبيت الحرام، وطئ على إزاره المهيب أعرابي من بنى فزارة، فضربه على وجهه، فشكاه الأعرابي إلى أمير المؤمنين الذي استدعى جبلة.
وقال في حزم وعدل: إما أن ترضيه، وإما أن يضربك كما ضربته.
استعظم ذلك على جبلة بن الأيهم، وتولى كبرا، وقال في زهو: هل أستوي معه، ألا تفرقوا بيني وبينه.
قال عمر رضي الله عنه: لا .. قد جمع بينكما الإسلام..
قال جبلة: إذن أتنصر، فقال عمر رضي الله عنه: ضربت عنقك!!
فلما رأى جبلة حزم عمر رضي الله عنه، وصلابته، طلب منه فرصة الى الغد، فأخذ قومه هارباً تحت جنح الظلام إلى القسطنطينية ولحق بهرقل.