In tegenstelling hiermee had het heidendom in de sedentaire samenlevingen van Arabië zich van zijn vroegere en eenvoudigere verschijningsvormen ontwikkeld tot een complexe vorm van neo-animisme, waarbij een groot aantal goddelijke en semi-goddelijke bemiddelaars werd aangesteld die tussen de scheppergod en zijn schepping stonden. Deze scheppergod werd Allah genoemd, wat geen eigennaam is maar een samentrekking van het woord al-ilah, wat eenvoudig “de god” betekent. Evenals zijn Griekse tegenhanger, Zeus, was Allah oorspronkelijk een oude regen/hemel godheid die verheven was tot de rol van oppergod van de pre-islamitische Arabieren. Hoewel het een machtige godheid was om bij te zweren, maakte Allah’s hoge status in het Arabische pantheon hem, zoals de meeste hoge goden, onbereikbaar voor smeekbeden van gewone mensen. Alleen in tijden van groot gevaar zou iemand de moeite nemen hem te raadplegen. De machtigste van hen waren zijn drie dochters, Allat (“de godin”), al-Uzza (“de machtige”), en Manat (de godin van het lot, wier naam waarschijnlijk is afgeleid van het Hebreeuwse woord mana, dat “deel” of “aandeel” betekent). Deze goddelijke bemiddelaars waren niet alleen vertegenwoordigd in de Kaaba, maar hadden hun eigen individuele heiligdommen verspreid over het Arabisch schiereiland: Allat in de stad Ta’if; al-Uzza in Nakhlah; en Manat in Qudayd. Tot hen baden de Arabieren wanneer zij regen nodig hadden, wanneer hun kinderen ziek waren, wanneer zij ten strijde trokken of een reis ondernamen tot diep in de verraderlijke woestijnverblijven van de Jinn – die intelligente, onwaarneembare en redbare wezens van rookloze vlammen die in het Westen “geesten” worden genoemd en die fungeren als de nimfen en feeën uit de Arabische mythologie.

Er waren geen priesters en geen heidense geschriften in het pre-islamitische Arabië, maar dat wil niet zeggen dat de goden zwegen. Zij openbaarden zich regelmatig door de extatische uitspraken van een groep cultische functionarissen die bekend stonden als de Kahins. De Kahins waren dichters die in de eerste plaats als waarzeggers fungeerden en die, tegen betaling, in trance raakten waarin zij goddelijke boodschappen door middel van rijmende coupletten openbaarden. Dichters hadden reeds een belangrijke rol in de pre-islamitische samenleving als barden, stam-historici, sociale commentatoren, verspreiders van morele filosofie, en, bij gelegenheid, beheerders van het recht. Maar de Kahins vertegenwoordigden een meer spirituele functie van de dichter. De Kahins, afkomstig uit alle sociale en economische lagen van de bevolking en waaronder ook een aantal vrouwen, interpreteerden dromen, losten misdaden op, vonden verloren dieren terug, beslechtten geschillen en legden ethiek uit. Net als hun Pythische tegenhangers in Delphi, echter, waren de orakels van de Kahins vaag en opzettelijk onnauwkeurig; het was de verantwoordelijkheid van de smekeling om uit te zoeken wat de goden eigenlijk bedoelden.

Hoewel zij werden beschouwd als de schakel tussen de mensheid en het goddelijke, communiceerden de Kahins niet rechtstreeks met de goden, maar hadden zij veeleer toegang tot hen door middel van de Jinn en andere geesten die zo’n integraal deel uitmaakten van de religieuze ervaring van de Jahiliyyah. Desondanks hadden noch de Kahins, noch iemand anders, toegang tot Allah. In feite was de god die de hemelen en de aarde had geschapen, die de mensen naar zijn beeld had gevormd, de enige god in de gehele Hijaz die niet door een afgodsbeeld in de Kaaba werd vertegenwoordigd. Hoewel Allah “de Koning der Goden” en “de Heer van het Huis” werd genoemd, was hij niet de centrale godheid in de Kaaba. Die eer behoorde toe aan Hubal, de Syrische god die eeuwen vóór de opkomst van de Islam naar Mekka was gebracht.

Ondanks Allah’s minimale rol in de religieuze cultus van het pre-islamitische Arabië, is zijn vooraanstaande positie in het Arabische pantheon een duidelijke aanwijzing hoe ver het heidendom op het Arabisch Schiereiland was geëvolueerd ten opzichte van zijn eenvoudige animistische wortels. Misschien wel het meest treffende voorbeeld van deze ontwikkeling is te zien in het processiegezang dat de pelgrims volgens de overlevering zongen bij het naderen van de Kaaba:

Hier ben ik, O Allah, hier ben ik.

U hebt geen partner,

Behalve zo’n partner als U hebt.

U bezit hem en alles wat van hem is.

Deze opmerkelijke proclamatie, met zijn duidelijke gelijkenis met de islamitische geloofsbelijdenis – “Er is geen god dan God” – kan de vroegste sporen onthullen in pre-islamitisch Arabië van wat de Duitse filoloog Max Muller het henotheïsme noemde: het geloof in één enkele hoge God, zonder noodzakelijkerwijs het bestaan van andere, ondergeschikte goden af te wijzen. Het vroegste bewijs van henotheïsme in Arabië kan worden teruggevoerd op een stam die de Amir heette, die in de tweede eeuw v. Chr. in de buurt van het huidige Jemen leefden en die een Hoge God aanbaden die zij dhu-Samawi noemden, “de Heer van de Hemelen”. Hoewel de details van de religie van de Amirs verloren zijn gegaan, zijn de meeste geleerden ervan overtuigd dat tegen de zesde eeuw v. Chr. het henotheïsme het standaardgeloof was geworden van de overgrote meerderheid van de sedentaire Arabieren, die niet alleen Allah als hun Hoge God aanvaardden, maar er ook op stonden dat hij dezelfde God was als Jahweh, de God van de Joden.

De Joodse aanwezigheid op het Arabisch Schiereiland kan in theorie worden herleid tot de Babylonische Ballingschap duizend jaar eerder, hoewel latere migraties mogelijk hebben plaatsgevonden in 70 na Christus, na de plundering van de Tempel in Jeruzalem door Rome, en opnieuw in 132 na Christus, na de messiaanse opstand van Simon Bar Kochba. Voor het grootste deel waren de Joden een bloeiende en zeer invloedrijke diaspora, waarvan de cultuur en tradities grondig waren geïntegreerd in het sociale en religieuze milieu van het pre-islamitische Arabië. Of zij nu Arabische bekeerlingen waren of immigranten uit Palestina, de Joden namen deel aan elk niveau van de Arabische samenleving. Volgens Gordon Newby waren er op het gehele schiereiland Joodse kooplieden, Joodse bedoeïenen, Joodse boeren, Joodse dichters en Joodse strijders. Joodse mannen droegen Arabische namen en Joodse vrouwen droegen Arabische hoofddeksels. En hoewel sommige van deze Joden Aramees spraken (of op zijn minst een verbasterde versie ervan), was hun primaire taal Arabisch.

Hoewel zij in contact stonden met grote Joodse centra in het gehele Nabije Oosten, had het Jodendom in Arabië zijn eigen variaties ontwikkeld op de traditionele Joodse overtuigingen en praktijken. De Joden deelden veel van dezelfde religieuze idealen als hun heidense Arabische tegenhangers, vooral met betrekking tot wat soms wordt aangeduid als “volksgodsdienst”: geloof in magie, het gebruik van talismannen en waarzeggerij, en dergelijke. Hoewel er bijvoorbeeld bewijzen zijn van een kleine maar formele rabbinale aanwezigheid in sommige streken van het Arabisch Schiereiland, bestond er ook een groep Joodse waarzeggers, de Kohens genaamd, die, hoewel zij in hun gemeenschappen een veel meer priesterlijke functie uitoefenden, niettemin op de heidense Kahins leken in die zin dat ook zij handelden in goddelijk geïnspireerde orakels.