I modsætning hertil havde hedenskabet i de sedentære samfund i Arabien udviklet sig fra sine tidligere og mere enkle manifestationer til en kompleks form for neo-animisme, der indeholdt et væld af guddommelige og halvguddommelige mellemmænd, som stod mellem den skabende gud og hans skabning. Denne skabergud blev kaldt Allah, som ikke er et egentlig navn, men en sammentrækning af ordet al-ilah, der blot betyder “guden”. Ligesom sin græske pendant, Zeus, var Allah oprindeligt en gammel regn-/himmelguddom, som var blevet ophøjet til rollen som de præislamiske araberes øverste gud. Selv om det var en magtfuld guddom at sværge til, gjorde Allahs fremtrædende status i det arabiske pantheon ham, ligesom de fleste høje guder, uden for almindelige menneskers bønner. Kun i tider med stor fare ville nogen gøre sig den ulejlighed at rådføre sig med ham. Ellers var det langt mere hensigtsmæssigt at henvende sig til de mindre, mere tilgængelige guder, der fungerede som Allahs forbedere, hvoraf de mest magtfulde var hans tre døtre, Allat (“gudinden”), al-Uzza (“den mægtige”) og Manat (skæbnens gudinde, hvis navn sandsynligvis er afledt af det hebraiske ord mana, der betyder “portion” eller “del”). Disse guddommelige formidlere var ikke kun repræsenteret i Kaaba, de havde også deres egne individuelle helligdomme på hele den arabiske halvø: Allat i byen Ta’if, al-Uzza i Nakhlah og Manat i Qudayd. Det var til dem, araberne bad, når de havde brug for regn, når deres børn var syge, når de gik i kamp eller begav sig ud på en rejse dybt ind i de forræderiske ørkenboliger, som Jinn’erne – disse intelligente, umærkelige og frelsende væsener lavet af røgfri flammer, som i Vesten kaldes “genier”, og som fungerer som nymfer og feer i den arabiske mytologi.

Der var ingen præster og ingen hedenske skrifter i det før-islamiske Arabien, men det betyder ikke, at guderne forblev tavse. De åbenbarede sig regelmæssigt gennem de ekstatiske ytringer fra en gruppe kultiske embedsmænd kendt som Kahins. Kahins var digtere, der primært fungerede som spåmænd, og som mod betaling kunne falde i trance, hvor de afslørede guddommelige budskaber gennem rimsætninger. Poeterne havde allerede en vigtig rolle i det præislamiske samfund som barder, stammehistorikere, sociale kommentatorer, formidlere af moralfilosofi og, lejlighedsvis, rettighedsforvaltere. Men Kahins repræsenterede en mere åndelig funktion for digteren. Kahinerne, der kom fra alle sociale og økonomiske lag og omfattede en række kvinder, fortolkede drømme, opklarede forbrydelser, fandt mistede dyr, løste tvister og redegjorde for etik. Ligesom deres pythiske modstykker i Delfi var Kahins’ orakler imidlertid vage og bevidst upræcise; det var den bønfaldendes ansvar at finde ud af, hvad guderne egentlig mente.

Og selv om Kahins blev betragtet som forbindelsen mellem menneskeheden og det guddommelige, kommunikerede de ikke direkte med guderne, men fik snarere adgang til dem gennem Jinn og andre ånder, som var en så integreret del af den religiøse oplevelse i Jahiliyyah. Alligevel havde hverken kahinerne eller nogen andre for den sags skyld adgang til Allah. Faktisk var den gud, der havde skabt himlene og jorden, og som havde skabt menneskene i sit eget billede, den eneste gud i hele Hijaz, som ikke var repræsenteret af et idol i Kaaba’en. Selv om han blev kaldt “gudernes konge” og “husets herre”, var Allah ikke den centrale guddom i Kaaba. Den ære tilhørte Hubal, den syriske gud, som var blevet bragt til Mekka århundreder før islams opståen.

Trods Allahs minimale rolle i den religiøse kult i det præislamiske Arabien er hans fremtrædende position i det arabiske pantheon en klar indikation af, hvor langt hedenskabet på den arabiske halvø havde udviklet sig fra sine simple animistiske rødder. Det måske mest slående eksempel på denne udvikling kan ses i den processionssang, som ifølge traditionen blev sunget af pilgrimmene, da de nærmede sig Kaaba:

Her er jeg, O Allah, her er jeg.

Du har ingen partner,

Selvfølgelig har du ingen partner,

uden en sådan partner som du har.

Du besidder ham og alt, hvad der er hans.

Denne bemærkelsesværdige proklamation med sin tydelige lighed med den muslimske trosbekendelse – “Der er ingen gud uden Gud” – kan afsløre de tidligste spor i det præislamiske Arabien af det, som den tyske filolog Max Muller kaldte henoteisme: troen på en enkelt høj gud, uden nødvendigvis at afvise eksistensen af andre, underordnede guder. De tidligste beviser på henoteisme i Arabien kan spores tilbage til en stamme kaldet Amir, som levede nær det nuværende Yemen i det andet århundrede f.Kr. og tilbad en høj gud, som de kaldte dhu-Samawi, “Himlens Herre”. Mens detaljerne i amirernes religion er gået tabt for historien, er de fleste forskere overbeviste om, at henoteismen i det sjette århundrede e.Kr. var blevet standardtroen for det store flertal af de bosiddende arabere, som ikke blot accepterede Allah som deres høje gud, men insisterede på, at han var den samme gud som Jahve, jødernes gud.

Den jødiske tilstedeværelse på den arabiske halvø kan i teorien spores tilbage til det babylonske eksil tusind år tidligere, selv om efterfølgende udvandringer kan have fundet sted i 70 e.Kr. efter Roms plyndring af templet i Jerusalem og igen i 132 e.Kr. efter Simon Bar Kochbas messianske oprør. For det meste var jøderne en blomstrende og meget indflydelsesrig diaspora, hvis kultur og traditioner var blevet grundigt integreret i det sociale og religiøse miljø i det præ-islamiske Arabien. Uanset om det var arabiske konvertitter eller indvandrere fra Palæstina, deltog jøderne på alle niveauer i det arabiske samfund. Ifølge Gordon Newby var der overalt på halvøen jødiske købmænd, jødiske beduiner, jødiske landmænd, jødiske digtere og jødiske krigere. Jødiske mænd tog arabiske navne, og jødiske kvinder bar arabiske hovedbeklædninger. Og selv om nogle af disse jøder måske talte aramæisk (eller i det mindste en forvansket version af det), var deres primære sprog arabisk.

Selv om de var i kontakt med større jødiske centre i hele det nære Østen, havde jødedommen i Arabien udviklet sine egne variationer af den traditionelle jødiske tro og praksis. Jøderne delte mange af de samme religiøse idealer som deres hedenske arabiske modstykker, især med hensyn til det, der undertiden betegnes som “folkereligion”: tro på magi, brug af talismaner og spådomskunst og lignende. Selv om der f.eks. er beviser for en lille, men formel tilstedeværelse af rabbinere i nogle regioner på Den Arabiske Halvø, fandtes der også en gruppe jødiske spåmænd kaldet Kohens, som, selv om de havde en langt mere præstelig funktion i deres samfund, ikke desto mindre lignede de hedenske Kahins, idet de også handlede med guddommeligt inspirerede orakler.