Britt meni naimisiin yliopisto-opiskelija Edwin Gregsonin kanssa vuonna 1958. Vuonna 1959 hän haki avioeroa.

Hän tapasi Sammy Davis Jr:n vuonna 1959. He alkoivat seurustella, ja lyhyen kihlauksen jälkeen he menivät naimisiin 13. marraskuuta 1960. Heidän häänsä aiheuttivat kiistaa. Huhu tai myytti oli, että John F. Kennedy ja Robert F. Kennedy käskivät Frank Sinatraa kehottamaan Davisia olemaan menemättä naimisiin Mayn kanssa vasta vuoden 1960 presidentinvaalien jälkeen. Tuohon aikaan rotujen väliset avioliitot oli kielletty lailla 31 Yhdysvaltain osavaltiossa, ja vasta vuonna 1967 Yhdysvaltain korkein oikeus totesi nämä lait (joita oli tuolloin enää 17 osavaltiossa) perustuslain vastaisiksi. Ennen häitä Britt kääntyi juutalaisuuteen. Parin vihki rabbi William M. Kramer. Sammyn ja Brittin tytär Tracey, Nancy Sinatra ja dokumentaristi Sam Pollard ovat kuitenkin vahvistaneet, että tämä avioliitto johti siihen, että presidentti Kennedy hylkäsi Davisin kutsun esiintyä hänen virkaanastujaisissaan. Kuitenkin Harry Belafonte Jr, joka oli tuolloin naimisissa valkoisen naisen kanssa, kutsuttiin esiintymään.

Naimisiin mentyään Britt jätti elokuvat. Hän sai Davisin kanssa tyttären, Traceyn (s. 5.7.1961 – k. 2.11.2020), ja adoptoi kaksi poikaa: Mark Sidney Davis (s. 1960, adoptoitu 4.6.1963) ja Jeff (s. 1963). He erosivat vuonna 1968 sen jälkeen, kun Davisilla oli tiettävästi suhde tanssija Lola Falanan kanssa.

Eeron jälkeen Britt jatkoi työskentelyä satunnaisilla televisiovierailuilla, viimeinen vuonna 1988. Sen jälkeen hän on ollut eläkkeellä ja harrastanut lähinnä maalaamista. Hän asuu tällä hetkellä Kaliforniassa. Hänen kolmas aviomiehensä, Lennart Ringquist, kuoli vuonna 2017.