Rogers est né à Latrobe (Pennsylvanie), une ville située à 40 miles (65 km) au sud-ouest de Pittsburgh, fils de James et Nancy Rogers. Il a été pendant de nombreuses années le seul enfant du couple, ayant passé une grande partie de son temps libre de petite enfance avec son grand-père maternel, Fred McFeely, et a développé un vif intérêt pour la musique. Il chantait souvent, accompagné au piano par sa mère, ayant commencé à jouer du piano à l’âge de 5 ans.

Après avoir obtenu son diplôme d’études secondaires, Rogers a étudié au Dartmouth College de Hanover, dans le New Hampshire, entre 1946 et 1948, avant d’être transféré au Rollins College de Winter Park, en Floride, où, au cours de l’année 1951, il a obtenu une licence en composition musicale.

A Rollins, Rogers rencontre celle qui deviendra sa femme, Sara Joanne Byrd, originaire d’Oakland (Floride), qu’il épouse le 9 juin 1952. De ce mariage sont nés deux fils, James (né en 1959) et John (né en 1961). En 1963, Rogers a obtenu un diplôme du séminaire théologique de Pittsburgh et a été ordonné ministre dans l’Église presbytérienne nord-américaine. Il recevra plus de 40 diplômes universitaires honorifiques au cours de sa vie. Rogers était daltonien, incapable de distinguer le vert du rouge, et végétarien. Il nageait tous les matins, ne buvait pas d’alcool et ne fumait pas.

Rogers possédait une maison d’été à Nantucket, dans le village de Madaket, à l’extrémité ouest de l’île.

Le film biographique intitulé Une belle journée dans le quartier, sortira au Brésil en janvier 2020 et mettra en scène Tom Hanks.