در این هنگام، شیبان بن سلمه نیز در خراسان ادعای خلافت و امامت کرد و اگرچه خود از قبایل مضری بود، در آغاز، با دستگاه اموی و نصربن سیّار به مخالفت برخاست.
نصربن سیّار در توطئه‌ای جدیع کرمانی را به قتل رساند(۱۲۹). پس از آن، فرزندان جدیع، علی و عثمان، به دنبال خون‌خواهی پدر خویش، رهبری قبایل یمنی را در دست گرفتند.
قبایل ربیعه و اَزد ساکن سرخس به شیبان پیوستند و او بر سرخس و طوس و ناحیۀ ابرشهر (نیشابور) مستولی شد و نزدیک به سی‌هزار تن از خوارج با او بیعت کردند، اما بعدآ پاره‌ای از آنان از وی جدا شدند.
شیبان، علی بن جدیع را به سوی مرو فرستاد و خود به دنبال وی به مرو رفت. علی در جنگ با نصربن سیّار شکست خورد و جنگ میان شیبان و نصر نیز نزدیک یک سال و نیم ادامه یافت،
که ظاهرآ نتیجۀ مطلوبی برای طرفین نداشت. ابومسلم نیز از اختلافات به وجود آمده بین قبایل عرب بیشترین بهره‌برداری را می‌کرد و می‌کوشید که با نیرنگ، این اختلافات را تشدید کند.
نصربن سیّار متوجه اقدامات ابومسلم بود و با بیم دادن شیبان خارجی و علی بن جدیع از خطر ابومسلم برای عربها، در سال ۱۲۹ آنان را به انعقاد پیمانصلح یک ساله‌ای متقاعد، و بر ضد ابومسلم با خود متحد ساخت. خبر این اتحاد برای ابومسلم گران آمد. وی توانست علی بن جدیع را از پیمانِ اتحادِ با نصرپشیمان سازد، اما شیبان از یاری علی بر ضد نصر خودداری کرد. زیرا این کار را فریبکاری می‌شمرد. ابومسلم کسی را نیز نزد شیبان فرستاد و از وی خواست تا میان آنها سه ماه صلح باشد.
چون علی بن جدیع از شیبان جدا شد و با ابومسلم سازش کرد، شیبان بن سلمه دانست که تاب مقاومت در برابر آنها را نخواهد داشت. بنابراین شهر ِ مرو را ترک کرد.
در جمادی الآخره ۱۳۰، ابومسلم شهر مرو، مرکزایالت خراسان، را تصرف کرد و به اتفاق علی بن جدیع وارد آنجا شد. ابومسلم برای شیبان پیغام فرستاد که با وی بیعت و از او فرمان‌برداری کند. ولی شیبان که خود خیالِ خلافت داشت، به ابومسلم گفت: «من تو را به بیعت خودم دعوت می‌کنم».
بیشتر اصحاب شیبان بن سلمه کشته شدند، بازماندگان به همراه شیبان به داخل شهر سرخس عقب نشستند و به مسجدشهر پناهنده شدند. سپاهیانِ بسّام بن ابراهیم وارد شهر شدند، شیبان و باقی یارانش را کشتند و سر شیبان را برای ابو مسلم فرستادند.
بسّام بن ابراهیم، ظاهرآ به منظور خون‌خواهی و انتقامپدر خویش، بسیاری از مردم بی‌گناه قبیلۀ بکر بن وائل، هم قبیله‌ایهای شیبان، را کشت. ابومسلم پس از شنیدن این خبر، وی را به نزد خویش فراخواند و کسی را به جای وی گمارد
آن دسته از یاران و پیروان شیبان که از جنگجان سالم به در برده بودند، به نصربن سیّار پیوستند که در آن هنگام در نیشابوراقامت داشت و آمادۀ مقابله با سپاهیان ابومسلم به فرماندهی قَحْطَبة بن شبیب بود.
از اجتماع قبایل عرب مُضَر و ربیعه و یمنی به دور شیبان بن سلمه در خراسان خبر داده و گفته است که آنان در کنار یاران خوارجی شیبان، از وی متابعت می‌کردند.
[۶۰]المواعظ و الاعتبار بذکر الخطط و الآثار المعروف بالخطط المقریزیة، ج۲، ص۳۵۵.
با اغراق، شیبان بن سلمه را اولین کسی می‌داند که اعتقاد خود به تشبیه را ابراز کرده است. اهل سنّت و خوارج ثعالبه به سبب همین عقیده، شیبان بن سلمه را تکفیر کردند.
اما از طریق منابع تاریخی نمی‌توان استنباط کرد که شیبان و پیروانش مستقیمآ با ابومسلم مساعدت کرده باشند. در واقع، شاید این ظن خوارج بعدآ به سبب دشمنی اولیه شیبان بن سلمه با نصربن سیّار در جریان کشمکشهای قومی و مذهبی خراسان شکل گرفته باشد.
برخی از پیروان شیبانیه، بعد از مرگ شیبان، برای رفعِ این اتهام چنین اظهار می‌کردند که شیبان پس از مدتی، از مساعدت با ابومسلم توبه کرده است، اما خوارج ثعالبه، به‌ویژه فرقه زیادیّه (پیروان زیاد بن عبدالرحمان شیبانی)، آن را نپذیرفتند و حتی کمک شیبان به ابومسلم در نبرد با خوارج ثعالبه را به اتهامات وی افزودند.
