Çoğu gayri-Karay bilim adamları Karaylığın kökenlerini Anan Ben-David Ha-Nasi’ye dayandırır. Karaylığın kökenlerini Pers Döneminden (şimdiki zaman Irak) Arap Dönemine geçişte, 7.yüzyılın ortalarında arayanlarda vardır. Hala bazı araştırmacılar Karaylığın kökenleri İkinci Tapınak zamanındaki mezheplerden olan Boethusianlar ve Saddukilerle ilişkilendirmeye çalışmaktadır. Kesinlikle Ortaçağ Rabban Alimleri alttaki paragraftaki Karaylığın başlangıcını kaleme almışlardır.: ‘’Bunun üzerine Anan Ben David kötü bir ihtiras ele geçirdi- o ve onunla beraber tüm şeytani düşüncelere sahip ve değer adamlar bunların arasında Saduki ve Boethos’un mirasçıları da vardı, bu muhalif mezhebi kurdular.’’ Açıkça görülmektedir ki Karaylığın Kuruluşu ile ilgili Araştırmacılar ve İlim Adamları arasında bir anlaşmazlık vardır. Tüm bu anlaşmazlıklara rağmen doğru şey her zaman sıkı sıkıya Tora’yı uygulayan bir Israel, yoğunluk veya azınlıkta olsa da, Tanah’a haricinde T-nrı kelamı kabul etmeyenlerdir. Sonuç olarak çoğu Karaylar, Karaylığın kökenini Tora’nın verilişi ile ilişkilendirirler. Onlara göre, Karaylık (Karaizm) terimi ,Gerçek Tora Uygulayıcılığı Hareketini , Rabbanların çelişkili kanunlarından ayırt etmek için kullanılmıştır.
Karaylığın Gelişmesini tanımlayan anlardan birisi ,bugün olduğu gibi, Mişna ve Talmud yazılmasıdır. İsa’dan sonra 500 yılda bitirilmiştir. Üst Yönetici Sınıfların bir ürünüdür. Talmud ve onun yazımı ,cahil Musevi kitlelerinin bastırılması ve kontrol edilmesi için bir araç olmuştur. Bu, Siyasi güç tarafından cezai uygulamalarla(mali ceza, işkence ve ölüm) denetlenen Musevilerin hayatını sert dini yükümlülüklerle çekilmez hale getirmiştir.
Arapların yedinci yüzyılda gelmesiyle, Musevi Alt Sınıf diğer Araplar tarafından istila edilen Ermenistan, Azerbaycan ve eyaletlere yerleşme imkanı bulmuş, üst sınıf Musevi Sömürücü Yöneticilerin dayattıkları kurallardan kurtulma imkanı olmuştur. Bu zamandan sonra onlar Siyasi, Ekonomik çıkarları olan eski Üstlerinin eziyetinden kurtulup, Gerçek Tora Yolunda Hayat yaşamayı sürdürmeyei başarmışlardır, bu Karaylığını kendisinin oluşumu değildir, ama Yahudi halkının Talmud’dan kurtulmasını sağlayan pek çok devrim gibidir. Bu mezhepler kendilerini kuranların doğası gereği bireysel ve münzevidir. Onlar Hukukun bir kişinin kalıcı otoritesince yorumlanmsı red ettiler. Her kişinin Tora’yı anlamaktan sorumludur ve bundan kendi yorumunu çıkartmalıdır.
Karayların kökleşmesi İsa’dan sonra 7.yy’a kadar gayri-resmi ve gevşek idi ama daha sonra Rabban baskısının artmasıyla, organize olmak zorunlu bir hale geldi, bir yüzyıl sonra Anan Ben David Karaylığın birinci evrensel lideri olarak kabul edildi. Kendisi Aristokrat bir Rabban Ailesinin üyesiydi, kendisi Rabbanlığın tutarsızlığını keşfetti ve ilk sistematik Rabbani olmayan Belgeyi yazdı, Karaylığın ondan önce de vardı, bu nedenle o Karaylığın Babası olarak anılır.
Anan kendisi fazla taraftar toplamadı ama başlangıçlar genelde küçüktür. Zamanla, savunduğu kavramlar ve düşünceler çoğu insanı etkiledi ve insanlar Karaylığın prensiplerini kabul etmeye başladı. 10.yüzyılda Daniel Ben Moşe Al-Kumisi zamanında Karaylık tüm doğuya yayıldı.
