Rogers blev født i Latrobe (Pennsylvania), en by 65 km sydvest for Pittsburgh, som søn af James og Nancy Rogers. Han var i mange år parrets eneste barn og tilbragte en stor del af sin tidlige barndoms fritid sammen med sin morfar, Fred McFeely, og udviklede en stor interesse for musik. Han sang ofte og blev ofte akkompagneret på klaveret af sin mor, der begyndte at spille klaver i en alder af 5 år.

Efter at have afsluttet high school studerede Rogers på Dartmouth College i Hanover, New Hampshire, mellem 1946 og 1948, inden han skiftede til Rollins College i Winter Park, Florida, hvor han i 1951 fik en BA i musikkomposition.

På Rollins mødte Rogers sin kommende hustru, Sara Joanne Byrd, fra Oakland (Florida), som han blev gift med den 9. juni 1952. Fra dette ægteskab blev der født to sønner, James (født 1959) og John (født 1961). I 1963 dimitterede Rogers fra Pittsburgh Theological Seminary og blev ordineret som præst i den nordamerikanske presbyterianske kirke. Han modtog mere end 40 akademiske æresbevisninger i løbet af sit liv. Rogers var farveblind, kunne ikke skelne mellem grønt og rødt og var vegetar. Han svømmede hver morgen, drak ikke alkohol og røg ikke.

Rogers ejede et sommerhus på Nantucket i landsbyen Madaket i den vestlige ende af øen.

Den biografiske film med titlen En smuk dag i nabolaget vil blive udgivet i Brasilien i januar 2020 med Tom Hanks i hovedrollen.