Britt se casó con Edwin Gregson, un estudiante universitario, en 1958. En 1959 solicitó el divorcio.

Conoció a Sammy Davis Jr. en 1959. Comenzaron a salir y, tras un breve compromiso, se casaron el 13 de noviembre de 1960. Su boda causó controversia. Un rumor o mito decía que John F. Kennedy y Robert F. Kennedy le dijeron a Frank Sinatra que le dijera a Davis que no se casara con May hasta después de las elecciones presidenciales de 1960. En aquella época, el matrimonio interracial estaba prohibido por ley en 31 estados de EE.UU., y sólo en 1967 esas leyes (que entonces se reducían a 17 estados) fueron declaradas inconstitucionales por el Tribunal Supremo de EE.UU. Antes de la boda, Britt se convirtió al judaísmo. La pareja se casó con el rabino William M. Kramer. Sin embargo, la hija de Sammy y Britt, Tracey, Nancy Sinatra y el documentalista Sam Pollard han confirmado que este matrimonio provocó que el presidente Kennedy rechazara una invitación para que Davis actuara en su investidura. Sin embargo, Harry Belafonte Jr., que estaba casado con una mujer blanca en ese momento, fue invitado a actuar.

Una vez casada, Britt dejó el cine. Ella y Davis tuvieron una hija, Tracey (nacida el 5 de julio de 1961 y fallecida el 2 de noviembre de 2020), y adoptaron dos hijos: Mark Sidney Davis (nacido en 1960, adoptado el 4 de junio de 1963) y Jeff (nacido en 1963). Se divorciaron en 1968 después de que Davis supuestamente tuviera un romance con la bailarina Lola Falana.

Tras el divorcio, Britt retomó su trabajo con esporádicas apariciones como invitada en televisión, la última en 1988. Desde entonces está retirada y se dedica principalmente a la pintura. Actualmente reside en California. Su tercer marido, Lennart Ringquist, murió en 2017.