Britt casou com Edwin Gregson, um estudante universitário, em 1958. Em 1959 ela pediu o divórcio.

Ela conheceu Sammy Davis Jr. em 1959. Eles começaram a namorar, e, após um breve noivado, casaram-se a 13 de Novembro de 1960. O casamento deles causou controvérsia. Um rumor ou mito era que John F. Kennedy e Robert F. Kennedy disseram a Frank Sinatra para dizer a Davis para não casar com May até depois das eleições presidenciais de 1960. Na época, o casamento inter-racial era proibido por lei em 31 estados americanos e só em 1967 é que essas leis (na época, até 17 estados) foram consideradas inconstitucionais pela Suprema Corte dos EUA. Antes do casamento, Britt converteu-se ao judaísmo. O casal foi casado pelo rabino William M. Kramer. No entanto, foi confirmado por Sammy e a filha de Britt, Tracey, Nancy Sinatra, e pelo documentarista Sam Pollard, que este casamento resultou na rejeição do convite para que Davis se apresentasse na sua inauguração pelo presidente Kennedy. No entanto, Harry Belafonte Jr., que era casado com uma mulher branca na época, foi convidado para actuar.

Após casar, Britt deixou o cinema. Ela e Davis tiveram uma filha, Tracey (b. 5 de Julho de 1961 – d. 2 de Novembro de 2020), e adoptaram dois filhos: Mark Sidney Davis (nascido em 1960, adoptado a 4 de Junho de 1963) e Jeff (nascido em 1963). Eles se divorciaram em 1968 após Davis ter tido um caso com a dançarina Lola Falana.

Após o divórcio, Britt retomou o trabalho com aparições esporádicas na televisão, a última em 1988. Desde então, ela está aposentada e envolvida principalmente com pintura. Ela atualmente reside na Califórnia. O seu terceiro marido, Lennart Ringquist, faleceu em 2017.