Britt heiratete 1958 Edwin Gregson, einen College-Studenten. Im Jahr 1959 reichte sie die Scheidung ein.

Sie lernte Sammy Davis Jr. 1959 kennen. Sie begannen sich zu verabreden und heirateten nach einer kurzen Verlobungszeit am 13. November 1960. Ihre Hochzeit löste eine Kontroverse aus. Ein Gerücht oder Mythos besagt, dass John F. Kennedy und Robert F. Kennedy Frank Sinatra aufforderten, Davis zu sagen, er solle May erst nach den Präsidentschaftswahlen 1960 heiraten. Zu dieser Zeit war die Ehe zwischen Rassen in 31 US-Bundesstaaten gesetzlich verboten, und erst 1967 wurden diese Gesetze (bis dahin waren es nur noch 17 Bundesstaaten) vom Obersten Gerichtshof der Vereinigten Staaten für verfassungswidrig erklärt. Vor der Hochzeit konvertierte Britt zum Judentum. Das Paar wurde von Rabbiner William M. Kramer getraut. Die Tochter von Sammy und Britt, Tracey, Nancy Sinatra und der Dokumentarfilmer Sam Pollard bestätigten jedoch, dass diese Ehe dazu führte, dass Präsident Kennedy eine Einladung an Davis für einen Auftritt bei seiner Amtseinführung ablehnte. Doch Harry Belafonte Jr., der zu dieser Zeit mit einer weißen Frau verheiratet war, wurde eingeladen.

Nach der Heirat verließ Britt die Filmwelt. Sie und Davis bekamen eine Tochter, Tracey (geb. 5. Juli 1961 – gest. 2. November 2020), und adoptierten zwei Söhne: Mark Sidney Davis (geb. 1960, adoptiert am 4. Juni 1963) und Jeff (geb. 1963). Sie ließen sich 1968 scheiden, nachdem Davis Berichten zufolge eine Affäre mit der Tänzerin Lola Falana hatte.

Nach der Scheidung nahm Britt ihre Arbeit mit sporadischen Gastauftritten im Fernsehen wieder auf, den letzten 1988. Seitdem ist sie im Ruhestand und beschäftigt sich hauptsächlich mit der Malerei. Derzeit wohnt sie in Kalifornien. Ihr dritter Ehemann, Lennart Ringquist, starb 2017.