بنا به مشهورترین قول پس از پیامبر در اوایل خلافتعمر به اسلام گروید و وارد مدینه شد.
کعب پس از گرویدن به اسلام با اصحاب پیامبر مصاحبت داشته و برای آن‌ها از کتب اسرائیلی و اخبار امت‌های گذشته حدیث نقل می‌کرده است.
روایات منقول از او بر دانش او نسبت به دو فرهنگ یهودی و اسلامی گواهی می‌دهد. در آن زمان کعب داستان تخت سلیمان را با صحنه‌پردازی خاصی بیان کرد و همگان را به اعجاب واداشت. در ضمن اطلاعات او درباره آدم و شجره ممنوعه و هم‌چنین ذوالقرنین و پیامبران دیگر باعث فریبمسلمانان می‌شد.
کعب الاحبار روایات بسیاری در توجیه عملکردها و تأیید اندیشه‌های خلیفۀ دوم و نیز پیش‌گویی‌هایی از تورات دربارۀ برخی صفات، خلقیات و فضائل او نقل کرده است.
صحابه در آغاز به کعب اطمینان داشتند به طوری که او را واعظ، معلم و مفتی می‌دانستند، امّا پس از مدتی برخی از آنان با پی بردن به دروغ پردازی و ماهیت یهودی وی سخنان او شک کرده، او را تکذیب کردند. به جهت این‌که او در اسلام به متون و آموزه‌های یهودی مراجعه می‌کرد و اساطیر و قصص موهومی را برای مردم بیان می‌نمود.
وی در روزگار عثمان و معاویه ارج فراوان داشت و به دستور ایشان احکام شرعی را بیان می‌نمود و تحت حمایت معاویه به جعل داستان‌هایی در تأیید دستگاه خلافت پرداخت.
روایات فراوان نقل شده از او در فضیلت شام و بیت‌المقدس همه مؤید این مطلب است.
او روایت کرده کسی که در بیت المقدسدفن شود عذاب نمی‌شود.
دربارۀ شام روایت کرده است که است که:
«خوشا به حال سرزمین شام همانا خداوند بخشاینده رحمت خود را بر این سرزمین گسترده است».
در جای دیگر دربارۀ صفتپیامبر در تورات روایت کرده است که:
«محمد رسول خدا، بندۀ برگزیدۀ او، مولدش مکه است و مهاجرتش مدینه و مُلکش در شام است».
از احادیث روایت شدۀ کعب در زمینۀ بیت المقدس و شام، بسیاری از خلفا چون عثمان، معاویه و پسرش و عبدالملک و ولید استفاده کردند و مردم را به این دو نقطه جذب نمودند. به خصوص در دورۀ عبدالملک که به خاطر فتنه بین او و ابن زبیر و به جهت پراکندگی جمعیت از نزد ابن زبیر و نرفتن به مکه مردم به زیارت این دو مکان تشویق شدند و از این زمان در تعظیم این دو مکان اسرائیلیاتی نقل شد.
روایات نقل شده از کعب در جوامع حدیثی باعث شده چهرۀ او دینی و آشنا به مسائل گوناگون دینی و تاریخی و تفسیری جلوه کند. احادیث نقل شده از او که اندیشه جسم انگاری خداوند را آشکارا مطرح می‌کند مورد قبول اهل حدیث و حنابله و یکی از اصول مذهب آن‌ها شده است.
