Daha önce Ebu Seleme’nin durumu ve Kûfe’ye geldiklerinde Ebu’l-Abbas ile Benî Hâşim’de oluşturduğu şüphelerden bahsedilmişti.
Ali b. Muhammed’in, Cebele b. Farruh, Yezid b. Esid ve Ebu Cafer’den rivayetine göre: Ebu’l-Abbas halife olunca bir gece oturmuş konuşuyorduk ve Ebu Seleme’nin yaptıklarını andık. Oradakilerden biri, “Belki Ebu Seleme bunu Ebu Müslim’in tavsiyesiyle yapmıştır” dedi. Kimse konuşmadı. Bunun üzerine Ebu’l-Abbas şöyle dedi: “Eğer bu Ebu Müslim’in görüşüyle olduysa, Allah bizi ondan kurtarmazsa büyük bir sıkıntıdayız.”
Dağıldıktan sonra Ebu’l-Abbas beni çağırdı ve “Bu konuda ne düşünüyorsun?” diye sordu. “Sen ne düşünüyorsan o” dedim. Bana şöyle dedi: “Ebu Müslim’e senden daha yakın kimse yok. Ona git, düşüncesini öğren. O senden bir şey gizlemez. Eğer Ebu Seleme’nin yaptığını onun yönlendirdiğini öğrenirsen, ona göre hareket ederiz. Değilse içimiz rahatlar.”
Endişe içinde yola çıktım. Rey’e vardığımda oradaki görevli, Ebu Müslim’den gelen bir mektup almıştı: “Abdullah b. Muhammed’in sana doğru geldiği haberi bana ulaştı. Geldiğinde onu bekletmeden hemen gönder.” Rey valisi bunu bana bildirdi ve beni derhal yola çıkardı. Endişem arttı.
Nişabur’a vardığımda ikinci bir mektup geldi: “Abdullah b. Muhammed sana ulaşırsa onu bekletmeden gönder; bulunduğun yer isyankâr bir bölgedir, onun için güvenli değildir.” Bunun üzerine içim rahatladı ve “Demek ki benim güvenliğimi düşünüyor” dedim.
Merv’e iki fersah kala Ebu Müslim ileri gelenlerle birlikte beni karşılamaya geldi. Yaklaştığında inip elimi öpmek istedi. Ona “Bin” dedim, tekrar bindi ve birlikte Merv’e girdik. Üç gün kaldım, bana hiçbir şey sormadı. Dördüncü gün “Seni buraya getiren nedir?” diye sordu. Durumu anlattım. “Bu Ebu Seleme’nin işidir, onu sizin için ortadan kaldırırım” dedi.
Sonra Marrar b. Enes ed-Debbî’yi çağırıp “Kûfe’ye git ve Ebu Seleme’yi gördüğün anda öldür; imamın uygun gördüğü şekilde işi bitir” dedi. Marrar Kûfe’ye geldi. Ebu Seleme akşam Ebu’l-Abbas’ın yanındaydı. Çıkışını bekledi; dışarı çıkınca onu öldürdü. Sonra “Onu Haricîler öldürdü” denildi.
Başka bir rivayete göre: Ebu Seleme’ye karşı Ebu’l-Abbas’ın düşmanlığı daha önce başlamıştı. Bu durumu Ebu Müslim’e yazdı ve şüphelerini bildirdi. Ebu Müslim, “Eğer böyleyse onu öldürt” diye cevap verdi. Ancak Davud b. Ali, “Bunu kendin yapma; Horasanlılar ve Ebu Müslim sana karşı kullanır. Onun adamı öldürsün” dedi. Bunun üzerine Ebu Müslim’e tekrar yazıldı ve o da Marrar’ı gönderdi.
Marrar, Haşimiyye’de Ebu’l-Abbas’a geldi ve geliş sebebini bildirdi. Bunun üzerine bir tellal ilan etti: “Halife Ebu Seleme’den razıdır, onu çağırmış ve ona hil‘at vermiştir.” Ebu Seleme akşam halifeye gitti, uzun süre yanında kaldı. Gece çıkıp yalnız yürürken bir revak altında Marrar ve adamları tarafından öldürüldü. Şehir kapıları kapatıldı ve “Ebu Seleme’yi Haricîler öldürdü” denildi. Ertesi gün cenazesi kaldırıldı ve Haşimiyye’de defnedildi.
Ebu Seleme “Âl-i Muhammed’in veziri”, Ebu Müslim ise “Âl-i Muhammed’in emini” olarak anılırdı.
Ebu Seleme’nin öldürülmesinden sonra Ebu’l-Abbas, kardeşi Ebu Cafer’i otuz kişiyle birlikte Ebu Müslim’e gönderdi. Onların arasında Haccac b. Artat ve İshak b. el-Fadl da vardı.
Ebu Cafer, Ebu Müslim’in yanına vardığında, yanında Ubeydullah b. el-Hüseyn el-A‘rac da bulunuyordu. Süleyman b. Kesir onunla birlikte ilerlerken ona, “İşinin görülmesini umuyorduk; istersen bize başvur” dedi. Ubeydullah bunu Ebu Müslim’in bir planı sanarak korktu ve gidip durumu ona bildirdi. Ebu Müslim, Süleyman’ı çağırıp “İmamın bana ‘şüphelendiğini öldür’ dediğini hatırlıyor musun?” dedi. “Evet” deyince, “Ben de senden şüpheleniyorum” dedi. Süleyman yalvardıysa da fayda etmedi ve Ebu Müslim onun öldürülmesini emretti.
Ebu Cafer bundan başka bir idam görmedi, ancak geri dönüp Ebu’l-Abbas’a şöyle dedi: “Eğer Ebu Müslim’i bu şekilde bırakırsan, sen halife değilsin; senin bir hükmün yoktur.” Ebu’l-Abbas “Nasıl?” diye sorunca, “O istediğini yapıyor” dedi. Ebu’l-Abbas ise “Sus ve bunu gizli tut” dedi.