Rogers syntyi Latrobessa (Pennsylvania), kaupungissa, joka sijaitsee 65 km lounaaseen Pittsburghista, James ja Nancy Rogersin poikana. Hän oli monta vuotta pariskunnan ainoa lapsi, ja hän vietti suuren osan varhaislapsuudestaan vapaa-aikaa äitinsä isoisän, Fred McFeelyn, kanssa ja kehittyi innokkaaksi musiikista. Hän lauloi usein äitinsä säestämänä pianolla, sillä hän oli aloittanut pianonsoiton 5-vuotiaana.

Yläkoulun jälkeen Rogers opiskeli vuosina 1946-1948 Dartmouth Collegessa Hanoverissa, New Hampshiressä, ennen kuin hän siirtyi Rollins Collegessa Winter Parkissa, Floridassa, jossa hän suoritti vuonna 1951 BA-tutkinnon musiikin säveltämisestä.

Rollinsissa Rogers tapasi tulevan vaimonsa, Oaklandista (Florida) kotoisin olevan Sara Joanne Byrdin, jonka kanssa hän avioitui 9. kesäkuuta 1952. Avioliitosta syntyi kaksi poikaa, James (syntynyt 1959) ja John (syntynyt 1961). Vuonna 1963 Rogers valmistui Pittsburghin teologisesta seminaarista ja hänet vihittiin Pohjois-Amerikan presbyteerisen kirkon papiksi. Hän sai elinaikanaan yli 40 akateemista kunniakirjaa. Rogers oli värisokea, ei pystynyt erottamaan vihreää punaisesta ja oli kasvissyöjä. Hän ui joka aamu, ei juonut alkoholia eikä tupakoinut.

Rogers omisti kesäasunnon Nantucketissa Madaketin kylässä, saaren länsipäässä.

Brasiliassa julkaistaan tammikuussa 2020 elämäkertaelokuva nimeltä Kaunis päivä naapurustossa, jonka pääosassa nähdään Tom Hanks.