Rogers nasceu em Latrobe (Pensilvânia), uma cidade localizada 65 km a sueste de Pittsburgh, filho de James e Nancy Rogers. Foi durante muitos anos o único filho do casal, tendo passado grande parte do tempo livre da sua primeira infância com o seu avô materno, Fred McFeely, tendo desenvolvido um grande interesse pela música. Cantava frequentemente, acompanhado ao piano pela sua mãe, tendo começado a tocar piano com 5 anos de idade.

Após ter terminado o ensino secundário, Rogers estudou no Dartmouth College, em Hanover, New Hampshire, entre 1946 e 1948, antes de se transferir para o Rollins College, em Winter Park, Flórida, onde, no ano de 1951, obteve um BA em composição música.

Em Rollins, Rogers encontrou a que viria a ser a sua esposa, Sara Joanne Byrd, natural de Oakland (Flórida), com quem casou a 9 de Junho de 1952. Desse casamento nasceram dois filhos, James (nascido em 1959) e John (nascido em 1961. Em 1963, Rogers concluiu o curso do Pittsburgh Theological Seminary (Seminário Teológico de Pittsburgh) e foi ordenado ministro da Igreja Presbiteriana norte americana. Receberia mais de 40 títulos académicos honorários durante a sua vida. Rogers era daltónico, não distinguindo o verde do vermelho, e vegetariano. Nadava todas as manhãs, não bebia álcool nem fumava.

Rogers era proprietário de uma casa de veraneio em Nantucket, na aldeia de Madaket, no extremo ocidental da ilha.

O filme biográfico intitulado A Beautiful Day in the Neighborhood, será lançado no Brasil em janeiro de 2020 e será estrelado por Tom Hanks.