ブレットは1958年に大学生のエドウィン・グレグソンと結婚した。 1959年に離婚を申請。

1959年にサミー・デイヴィスJr.と出会う。 交際を開始し、短い婚約期間を経て、1960年11月13日に結婚。 二人の結婚式は物議を醸した。 ジョン・F・ケネディとロバート・F・ケネディがフランク・シナトラに、1960年の大統領選挙が終わるまでメイと結婚しないようにデイヴィスに言うように言ったという噂や神話がある。 当時、異人種間の結婚は全米31州で法律で禁止されており、1967年になってようやくそれらの法律（当時は17州に減っていた）が連邦最高裁判所により違憲と判断されたのである。 結婚式に先立ち、ブレットはユダヤ教に改宗した。 二人の結婚式は、ラビのウィリアム・M・クレイマーによって行われた。 しかし、サミーとブリットの娘トレーシー、ナンシー・シナトラ、ドキュメンタリー作家のサム・ポラードによって、この結婚が原因でケネディ大統領が就任式でのデイヴィスの演奏の招待を断ったことが確認されている。 しかし、当時白人女性と結婚していたハリー・ベラフォンテ・ジュニアは招待された。

結婚後、ブリットは映画界から離れた。 デイヴィスとの間に娘トレーシー（1961年7月5日生まれ – 2020年11月2日没）をもうけ、2人の息子を養子に迎えた。 マーク・シドニー・デイヴィス（1960年生まれ、1963年6月4日養子）、ジェフ（1963年生まれ）。 1968年、デイヴィスがダンサーのローラ・ファラナと不倫していたことが報じられ、離婚した。

離婚後、ブリットは散発的にテレビ出演をしながら仕事を再開し、1988年が最後となった。 それ以来、彼女は引退し、主に絵画に携わっています。 現在はカリフォルニアに在住。 3番目の夫であるLennart Ringquistは2017年に死去した

。