Rogers s-a născut în Latrobe (Pennsylvania), un oraș situat la 65 km sud-vest de Pittsburgh, fiul lui James și Nancy Rogers. A fost mulți ani singurul copil al cuplului, petrecându-și o mare parte din timpul liber din copilărie cu bunicul său matern, Fred McFeely, și a dezvoltat un interes deosebit pentru muzică. Cânta adesea, acompaniat la pian de mama sa, după ce începuse să cânte la pian la vârsta de 5 ani.

După absolvirea liceului, Rogers a studiat la Dartmouth College din Hanover, New Hampshire, între 1946 și 1948, înainte de a se transfera la Rollins College din Winter Park, Florida, unde, în anul 1951, a obținut o licență în compoziție muzicală.

La Rollins, Rogers a întâlnit-o pe cea care avea să-i devină soție, Sara Joanne Byrd, originară din Oakland (Florida), cu care s-a căsătorit pe 9 iunie 1952. Din această căsătorie s-au născut doi fii, James (născut în 1959) și John (născut în 1961). În 1963, Rogers a absolvit Seminarul Teologic din Pittsburgh și a fost hirotonit ministru în cadrul Bisericii Prezbiteriene din America de Nord. În timpul vieții sale, a primit peste 40 de diplome academice onorifice. Rogers era daltonist, nu putea deosebi verdele de roșu și era vegetarian. El înota în fiecare dimineață, nu bea alcool și nu fuma.

Rogers a deținut o casă de vară în Nantucket, în satul Madaket, în capătul vestic al insulei.

Filmul biografic intitulat O zi frumoasă în cartier, va fi lansat în Brazilia în ianuarie 2020 și îl va avea ca protagonist pe Tom Hanks.