Rogers se narodil v Latrobe (Pensylvánie), městě ležícím 40 mil (65 km) jihozápadně od Pittsburghu, jako syn Jamese a Nancy Rogersových. Dlouhá léta byl jediným dítětem manželského páru a v raném dětství trávil většinu volného času u svého dědečka z matčiny strany Freda McFeelyho, který se velmi zajímal o hudbu. Často zpíval za klavírního doprovodu své matky, která začala hrát na klavír již v jeho pěti letech.

Po absolvování střední školy studoval Rogers v letech 1946-1948 na Dartmouth College v Hanoveru ve státě New Hampshire a poté přestoupil na Rollins College ve Winter Parku na Floridě, kde v roce 1951 získal bakalářský titul v oboru hudební kompozice.

V Rollinsu se Rogers seznámil se svou budoucí manželkou Sarou Joanne Byrdovou, rodačkou z Oaklandu (Florida), s níž se oženil 9. června 1952. Z tohoto manželství se narodili dva synové, James (nar. 1959) a John (nar. 1961). V roce 1963 Rogers absolvoval Pittsburghský teologický seminář a byl vysvěcen na duchovního Severoamerické presbyteriánské církve. Během svého života obdržel více než 40 čestných akademických titulů. Rogers byl barvoslepý, nerozeznával zelenou od červené a byl vegetarián. Každé ráno plaval, nepil alkohol a nekouřil.

Rogers vlastnil letní sídlo na Nantucketu ve vesnici Madaket na západním konci ostrova.

Životopisný film s názvem A Beautiful Day in the Neighborhood (Krásný den v sousedství) bude mít v Brazílii premiéru v lednu 2020 a hlavní roli v něm ztvární Tom Hanks.

.