Rogers nació en Latrobe (Pensilvania), una ciudad situada a 65 km al suroeste de Pittsburgh, hijo de James y Nancy Rogers. Durante muchos años fue el único hijo del matrimonio, ya que pasó gran parte del tiempo libre de su infancia con su abuelo materno, Fred McFeely, y desarrolló un gran interés por la música. A menudo cantaba acompañado al piano por su madre, ya que había empezado a tocar el piano a los 5 años.

Después de graduarse en el instituto, Rogers estudió en el Dartmouth College de Hanover, New Hampshire, entre 1946 y 1948, antes de trasladarse al Rollins College de Winter Park, Florida, donde, en el año 1951, obtuvo una licenciatura en composición musical.

En Rollins, Rogers conoció a la que sería su esposa, Sara Joanne Byrd, natural de Oakland (Florida), con la que se casó el 9 de junio de 1952. De ese matrimonio nacieron dos hijos, James (nacido en 1959) y John (nacido en 1961). En 1963, Rogers se graduó en el Seminario Teológico de Pittsburgh y fue ordenado ministro de la Iglesia Presbiteriana Norteamericana. Recibió más de 40 títulos académicos honoríficos a lo largo de su vida. Rogers era daltónico, incapaz de distinguir el verde del rojo, y vegetariano. Nadaba todas las mañanas, no bebía alcohol ni fumaba.

Rogers tenía una casa de verano en Nantucket, en el pueblo de Madaket, en el extremo occidental de la isla.

La película biográfica titulada Un hermoso día en el barrio, se estrenará en Brasil en enero de 2020 y estará protagonizada por Tom Hanks.