İlk evlendiği kadın, Allah’ın Elçisinin kızı Fatıma idi. Fatıma yaşadığı sürece onun üzerine başka bir kadın almadı. Fatıma ona Hasan ile Hüseyin’i doğurdu. Rivayete göre küçük yaşta ölen Muhassin adında bir oğul daha doğurdu. Ayrıca büyük Zeyneb ile büyük Ümmü Gülsüm’ü doğurdu.
Daha sonra Ümmü’l-Benin bint Hizam ile evlendi. Hizam, Ebu’l-Mecel b. Halid b. Rebîa b. el-Vahîd b. Ka‘b b. Âmir b. Kilab idi. Bu kadın ona Abbas, Ca‘fer, Abdullah ve Osman’ı doğurdu. Bunlar Hüseyin ile birlikte Kerbelâ’da öldürüldüler. Yalnız Abbas’ın soyu devam etti.
Ayrıca Leyla bint Mes‘ud b. Halid b. Malik b. Rib‘î b. Selma b. Cendel b. Nahşel b. Dârim b. Malik b. Hanzala b. Malik b. Zeyd Menat b. Temîm ile evlendi. Bu kadın ona Ubeydullah ile Ebu Bekr’i doğurdu. Hişam b. Muhammed, bu ikisinin de Hüseyin ile birlikte Taff’ta öldürüldüğünü söylemiştir. Fakat Muhammed b. Ömer, Ubeydullah’ı Madhâr’da Muhtar b. Ebi Ubeyd’in öldürdüğünü ve ne Ubeydullah’ın ne de Ebu Bekr’in soy bıraktığını söylemiştir.
Ali ayrıca Has‘amlı Esma bint Umeys ile evlendi. Hişam b. Muhammed’e göre bu kadın ona Yahya ile Muhammed’i — yani Muhammed adını taşıyan üç oğlunun en küçüğünü — doğurdu. Hişam, bu ikisinin de soyunun devam etmediğini söylemiştir. Fakat Vâkıdî, el-Hâris – İbn Sa‘d – Vâkıdî rivayetine göre, Esma’nın Ali’ye Yahya ile Avn adında iki oğul doğurduğunu söylemiştir. Bazıları ise en küçük Muhammed’in bir cariyeden doğduğunu söylemiştir. Vâkıdî’nin görüşü de budur. O ayrıca bu en küçük Muhammed’in Hüseyin ile birlikte öldürüldüğünü söylemiştir.
Ali’nin, es-Sahbâ denilen kadından da çocukları oldu. Bu kadın Ümmü Habib bint Rebîa b. Büceyr b. el-Abd b. Alkame b. el-Hâris b. Utbe b. Sa‘d b. Züheyr b. Cuşam b. Bekr b. Hubeyb b. Amr b. Ganem b. Tağlib b. Vâil idi. O, Halid b. Velid’in Ayn et-Temr’de Benî Tağlib’e yaptığı baskında alınan esirler arasından bir cariyeydi. Bu kadından Ali’nin Ömer ile Rukıyye adında çocukları oldu. Ömer b. Ali seksen beş yıl yaşadı. Ali’nin mirasının yarım payını aldı ve Yenbu‘da öldü.
Ali ayrıca Ümame bint Ebi’l-Âs b. er-Rebi‘ b. Abdüluzza b. Abdüşems b. Abdümenaf ile evlendi. Onun annesi Allah’ın Elçisinin kızı Zeyneb idi. Bu kadın da ona Muhammed adını taşıyan oğullarının ikincisini doğurdu.
Muhammed adını taşıyan oğullarının en büyüğü, Muhammed b. el-Hanefiyye olarak bilinir. Onun annesi Havle bint Ca‘fer b. Kays b. Mesleme b. Ubeyd b. Sa‘lebe b. Yerbu‘ b. Sa‘lebe b. ed-Düvel b. Hanife b. Lüceym b. Sa‘b b. Ali b. Bekr b. Vâil idi. Muhammed b. el-Hanefiyye Tâif’te öldü ve cenaze namazını İbn Abbas kıldırdı.
Ali ayrıca Sakaflı Ümmü Saîd bint Urve b. Mes‘ud b. Muattib b. Malik ile evlendi. Bu kadın ona Ümmü’l-Hasan ile büyük Remle’yi doğurdu.
Ali’nin ayrıca annelerinin adları bize ulaşmamış olan çeşitli kadınlardan kızları da vardı. Bu kızları arasında Ümmü Hani, Meymûne, küçük Zeyneb, küçük Remle, küçük Ümmü Gülsüm, Fatıma, Ümame, Hatice, Ümmü’l-Kiram, Ümmü Seleme, Ümmü Ca‘fer, Cümane ve Nefise vardı. Bunların anneleri çeşitli cariyelerdi.
Ayrıca Kelb kabilesinden İmruülkays b. Adî b. Evs b. Câbir b. Ka‘b b. Uleym’in kızı Mahyât ile evlendi. Bu kadın ona küçük yaşta ölen bir kız doğurdu. Vâkıdî şöyle dedi: Bu küçük kız çocukken mescide çıkardı. Ona, “Anne tarafından hangi kabiledensin?” diye sorarlardı. O da “Hav hav” derdi; bununla Kelb’i kastederdi.
Ali’nin çocuklarının toplam sayısı 14 erkek ve 19 kızdı.
El-Hâris – İbn Sa‘d – Vâkıdî’ye göre: Ali’nin oğullarından beşinin soyu devam etti: Hasan, Hüseyin, Muhammed b. el-Hanefiyye, Kilablı kadından olan Abbas ve Tağlibli kadından olan Ömer.