KTM foi fundada em 1934 por Hans Trunkenpolz e era inicialmente conhecida como Kraftfahrzeuge Trunkenpolz. Como a empresa era na verdade uma metalúrgica e as vendas eram bastante baixas, os proprietários decidiram começar a fabricar motocicletas. Dois anos mais tarde, em 1953, um empresário austríaco chamado Ernst Kronreif comprou uma grande parte da empresa que foi renomeada para Kronreif & Trunkenpolz Mattighofen (KTM).
No primeiro ano de existência, eles tinham apenas 20 funcionários e estavam produzindo aproximadamente três motos por dia, incluindo a 98cc R100, um projeto que começou em 1951. A KTM participou pela primeira vez em eventos automobilísticos em 1953 na 5ª competição de Gaisberg, na qual conquistou os três primeiros lugares.
Um ano depois, a KTM celebrou a entrega da sua 1000ª motocicleta e, no mesmo ano, venceu o campeonato nacional austríaco de 125. Dois anos depois, em 1956, a KTM participou pela primeira vez da corrida internacional Seis Dias e Egon Dornauer ganhou o ouro.
Em 1959, o engenheiro da KTM Ludwig Apfelbeck desenvolveu uma nova moto de corrida que Erwin Lechner usa para ganhar várias competições offroad. Embora as coisas estivessem indo muito bem para a empresa, a KTM começou a fabricar bicicletas em 1964.
Dois anos mais tarde, a KTM iniciou a produção da Penton Six Days, uma moto que se destinava a ser exportada para os EUA. O mesmo ano marca a conquista do campeonato nacional austríaco pela Manfred Klerr com a nova moto 250cc Motorcross.
Mais importante, em 1973, a KTM inicia a produção em série da moto 250 Motorcross e Enduro enquanto no mesmo ano, a equipa austríaca regista os primeiros pontos do Campeonato do Mundo e o primeiro Grande Prémio ganha. Até 1974, a KTM tinha uma gama de nada menos que 42 modelos, mas mesmo assim, a empresa inicia a produção da KTM Hobby III no mesmo ano.
KTM iniciou os anos 80 com um importante sucesso ao introduzir as primeiras motos 125cc Motorcross arrefecidas a água em 1981, enquanto um ano mais tarde implementaram a nova suspensão traseira Pro Lever em todos os seus modelos Motorcross.
Em 1984, a KTM começou a fazer radiadores e vendeu-os aos concorrentes (sendo a Suzuki um dos nomes mais importantes). No entanto, ao mesmo tempo que fabricavam peças de motocicletas, a empresa celebrava o seu 100.000º motor KTM que vinha com um deslocamento de 500cc, com sistema de arrefecimento líquido e podia produzir mais de 50bhp.
Série KTM de motores refrigerados a líquido a 4 tempos começou em 1987, mas um ano depois, um dos fundadores da empresa, Eric Trunkenpolz, morre. Devido à falência, a empresa foi dividida em divisões independentes, que continuaram a fabricar radiadores ou a construir motocicletas e bicicletas. Em 1992, foi oficialmente fundada a nova KTM Sportmotorcycle GmbH, tendo uma nova equipa de gestão, um novo Hard Enduro e um novo design de motocicletas.