Rogers è nato a Latrobe (Pennsylvania), una città situata 40 miglia (65 km) a sud-ovest di Pittsburgh, figlio di James e Nancy Rogers. È stato per molti anni l’unico figlio della coppia, avendo passato molto del tempo libero della sua prima infanzia con il nonno materno, Fred McFeely, e ha sviluppato un vivo interesse per la musica. Cantava spesso, accompagnato al piano da sua madre, avendo iniziato a suonare il piano all’età di 5 anni.

Dopo il diploma di scuola superiore, Rogers ha studiato al Dartmouth College di Hanover, New Hampshire, tra il 1946 e il 1948, prima di trasferirsi al Rollins College di Winter Park, Florida, dove, nell’anno 1951, ha ottenuto un BA in composizione musicale.

Alla Rollins, Rogers incontrò quella che sarebbe diventata sua moglie, Sara Joanne Byrd, nativa di Oakland (Florida), che sposò il 9 giugno 1952. Da questo matrimonio sono nati due figli, James (nato nel 1959) e John (nato nel 1961). Nel 1963, Rogers si è laureato al Pittsburgh Theological Seminary ed è stato ordinato ministro nella Chiesa presbiteriana nordamericana. Durante la sua vita avrebbe ricevuto più di 40 lauree accademiche onorarie. Rogers era daltonico, incapace di distinguere il verde dal rosso, e vegetariano. Nuotava ogni mattina, non beveva alcolici e non fumava.

Rogers possedeva una casa estiva a Nantucket nel villaggio di Madaket, all’estremità occidentale dell’isola.

Il film biografico intitolato Una bella giornata nel quartiere, uscirà in Brasile nel gennaio 2020 e avrà come protagonista Tom Hanks.