Rogers föddes i Latrobe (Pennsylvania), en stad 65 km sydväst om Pittsburgh, som son till James och Nancy Rogers. Han var under många år parets enda barn och tillbringade en stor del av sin tidiga barndoms fritid med sin morfar, Fred McFeely, och utvecklade ett stort intresse för musik. Han sjöng ofta tillsammans med sin mamma som började spela piano vid fem års ålder.

Efter att ha gått ut gymnasiet studerade Rogers vid Dartmouth College i Hanover, New Hampshire, mellan 1946 och 1948, innan han gick vidare till Rollins College i Winter Park, Florida, där han 1951 fick en BA i musikkomposition.

På Rollins träffade Rogers sin blivande fru, Sara Joanne Byrd, från Oakland (Florida), som han gifte sig med den 9 juni 1952. I detta äktenskap föddes två söner, James (född 1959) och John (född 1961). 1963 tog Rogers examen från Pittsburgh Theological Seminary och ordinerades till präst i North American Presbyterian Church. Han fick mer än 40 akademiska hedersdiplom under sin livstid. Rogers var färgblind, kunde inte skilja grönt från rött och var vegetarian. Han simmade varje morgon, drack inte alkohol och rökte inte.

Rogers ägde ett sommarhus på Nantucket i byn Madaket, på den västra delen av ön.

Den biografiska filmen med titeln En vacker dag i grannskapet kommer att släppas i Brasilien i januari 2020 och kommer att ha Tom Hanks i huvudrollen.