Britt trouwde in 1958 met Edwin Gregson, een student. In 1959 vroeg ze echtscheiding aan.

Zij ontmoette Sammy Davis Jr. in 1959. Ze kregen verkering, en na een korte verloving trouwden ze op 13 november 1960. Hun huwelijk veroorzaakte controverse. Een gerucht of mythe was dat John F. Kennedy en Robert F. Kennedy Frank Sinatra hadden gezegd Davis te vertellen niet met May te trouwen tot na de presidentsverkiezing van 1960. In die tijd was het interraciale huwelijk in 31 Amerikaanse staten bij wet verboden, en pas in 1967 werden die wetten (toen nog maar in 17 staten) door het Amerikaanse Hooggerechtshof ongrondwettig verklaard. Vóór het huwelijk bekeerde Britt zich tot het jodendom. Het echtpaar werd getrouwd door Rabbi William M. Kramer. Het is echter bevestigd door Sammy en Britt’s dochter Tracey, Nancy Sinatra, en documentarist Sam Pollard dat dit huwelijk resulteerde in een afwijzing door President Kennedy van een uitnodiging voor Davis om op te treden bij zijn Inhuldiging. Toch werd Harry Belafonte Jr., die op dat moment getrouwd was met een blanke vrouw, uitgenodigd om op te treden.

Eenmaal getrouwd, verliet Britt de filmwereld. Zij en Davis kregen een dochter, Tracey (geb. 5 juli 1961 – ged. 2 november 2020), en adopteerden twee zonen: Mark Sidney Davis (geb. 1960, geadopteerd 4 juni 1963) en Jeff (geb. 1963). Zij scheidden in 1968 nadat Davis naar verluidt een affaire had met danseres Lola Falana.

Na de scheiding hervatte Britt haar werk met sporadische gastoptredens op televisie, de laatste in 1988. Sindsdien is zij gepensioneerd en houdt zij zich voornamelijk bezig met schilderen. Ze woont momenteel in Californië. Haar derde echtgenoot, Lennart Ringquist, overleed in 2017.