بعد فتح مكة استجابت القبائل العربية بالجزيرة العربية إلى الإسلام، وكان رسول الله صلى الله عليه وسلم يرسل الدعاة إلى القبائل التي لم تستجب بعد، فأرسل علياً رضي الله عنه إلى همدان باليمن، ومعه البراء بن عازب رضي الله عنه الذي يحدثنا عما حدث في ذهابه مع علي رضي الله عنه لليمن، فيقول: فلما انتهينا إلى أوائل اليمن بلغ القوم الخبر، فجمعوا له، فصلى علي بنا الفجر، فلما فرغ، صفنا صفا واحدا ثم تقدم بين أيدينا فحمد الله وأثنى عليه، ثم قرأ عليهم كتاب رسول الله صلى الله عليه وسلم فأسلمت همدان كلها في يوم واحد، وكتب بذلك إلى رسول الله، فلما قرأ كتابه خر ساجدا، وقال «السلام على همدان».
وقد أمر رسول الله صلى الله عليه وسلم علياً بأن يكون قاضيا بين الناس في اليمن، وهذا علي رضي الله عنه يحدثنا بنفسه، حيث قال: بعثني رسول الله صلى الله عليه وسلم إلى اليمن، فقلت له: يا رسول الله تبعثني الى قوم أسن مني وأنا حدث لا أبصر القضاء، قال: فوضع يده على صدري، وقال: اللهم ثبت لسانه واهد قلبه، يا علي إذا جلس إليك الخصمان فلا تقض بينهما حتى تسمع من الآخر ما سمعت من الأول، إذا فعلت ذلك تبين لك القضاء قال: فما اختلف علي قضاء بعد، أو ما أشكل عليَّ قضاء بعد.