Rogers James és Nancy Rogers fiaként született Latrobe-ban (Pennsylvania), egy Pittsburghtől 65 km-re délnyugatra fekvő városban. Sokáig ő volt a házaspár egyetlen gyermeke, aki gyermekkora nagy részét anyai nagyapjával, Fred McFeelyvel töltötte, és élénk érdeklődést mutatott a zene iránt. Gyakran énekelt, édesanyja zongorakíséretével, mivel 5 éves korában kezdett el zongorázni.

A középiskola elvégzése után Rogers 1946 és 1948 között a New Hampshire-i Hanoverben található Dartmouth College-ban tanult, majd átjelentkezett a floridai Winter Parkban található Rollins College-ba, ahol 1951-ben zeneszerzésből szerzett diplomát.

Rogers a Rollinsban ismerkedett meg későbbi feleségével, a floridai Oaklandben született Sara Joanne Byrddel, akit 1952. június 9-én vett feleségül. Ebből a házasságból két fiú született, James (1959-ben született) és John (1961-ben született). 1963-ban Rogers elvégezte a Pittsburghi Teológiai Szemináriumot, és az Észak-Amerikai Presbiteriánus Egyház lelkészévé szentelték. Élete során több mint 40 tiszteletbeli tudományos fokozatot kapott. Rogers színvak volt, nem tudta megkülönböztetni a zöldet a pirostól, és vegetáriánus volt. Minden reggel úszott, nem ivott alkoholt és nem dohányzott.

Rogersnek volt egy nyaralója Nantucketen, Madaket faluban, a sziget nyugati végén.

Az Egy szép nap a szomszédban című életrajzi filmet 2020 januárjában mutatják be Brazíliában, Tom Hanks főszereplésével.