Rogers wurde in Latrobe (Pennsylvania), einer Stadt 40 Meilen (65 km) südwestlich von Pittsburgh, als Sohn von James und Nancy Rogers geboren. Er war viele Jahre lang das einzige Kind des Paares und verbrachte einen Großteil seiner frühen Kindheit bei seinem Großvater mütterlicherseits, Fred McFeely, und entwickelte ein großes Interesse an Musik. Er sang oft und wurde dabei von seiner Mutter am Klavier begleitet, die im Alter von 5 Jahren mit dem Klavierspielen begonnen hatte.

Nach seinem Highschool-Abschluss studierte Rogers von 1946 bis 1948 am Dartmouth College in Hanover, New Hampshire, bevor er an das Rollins College in Winter Park, Florida, wechselte, wo er 1951 einen BA in Musikkomposition erwarb.

Auf der Rollins University lernte Rogers seine spätere Frau Sara Joanne Byrd aus Oakland (Florida) kennen, die er am 9. Juni 1952 heiratete. Aus dieser Ehe gingen zwei Söhne hervor, James (geboren 1959) und John (geboren 1961). Im Jahr 1963 schloss Rogers sein Studium am Theologischen Seminar in Pittsburgh ab und wurde zum Pfarrer der Nordamerikanischen Presbyterianischen Kirche geweiht. Im Laufe seines Lebens erhielt er mehr als 40 akademische Ehrentitel. Rogers war farbenblind, konnte Grün nicht von Rot unterscheiden und war Vegetarier. Er schwamm jeden Morgen, trank keinen Alkohol und rauchte nicht.

Rogers besaß ein Sommerhaus auf Nantucket im Dorf Madaket, am westlichen Ende der Insel.

Der biografische Film mit dem Titel „Ein schöner Tag in der Nachbarschaft“ wird im Januar 2020 in Brasilien in die Kinos kommen und Tom Hanks in der Hauptrolle zeigen.