KTM fue fundada en 1934 por Hans Trunkenpolz y se conocía inicialmente como Kraftfahrzeuge Trunkenpolz. Como la empresa era en realidad un taller metalúrgico y las ventas eran bastante bajas, los propietarios decidieron empezar a fabricar motocicletas. Dos años más tarde, en 1953, un empresario austriaco llamado Ernst Kronreif compró una gran parte de la empresa, que pasó a llamarse Kronreif &Trunkenpolz Mattighofen (KTM)
En el primer año de existencia, sólo contaban con 20 empleados y producían aproximadamente tres motos al día, incluida la R100 de 98cc, un proyecto que comenzó en 1951. KTM participó por primera vez en eventos de automovilismo en 1953, en la 5ª competición de Gaisberg, en la que obtuvo los tres primeros puestos.
Un año después, KTM celebró la entrega de su motocicleta número 1.000 y, durante ese mismo año, ganó el campeonato nacional austriaco de 125. Dos años más tarde, en 1956, KTM participó por primera vez en la carrera internacional de los Seis Días y Egon Dornauer ganó el oro.
En 1959, el ingeniero de KTM Ludwig Apfelbeck desarrolló una nueva motocicleta de carreras con la que Erwin Lechner ganó múltiples competiciones offroad. Aunque las cosas iban bastante bien para la empresa, KTM comienza a fabricar bicicletas en 1964.
Dos años después, KTM inicia la producción de la Penton Six Days de cross, una motocicleta destinada a ser exportada a los Estados Unidos. Ese mismo año, Manfred Klerr gana el campeonato nacional austriaco con la nueva moto de 250cc de motocross.
Más importante aún, en 1973, KTM comienza la producción en serie de las 250 de motocross y enduro, mientras que ese mismo año, el equipo austriaco registra los primeros puntos del Campeonato del Mundo y las primeras victorias en los Grandes Premios. Hasta 1974, KTM contaba con una gama de nada menos que 42 modelos, pero aun así, la compañía comienza la producción de la KTM Hobby III en ese mismo año.
KTM comenzó la década de los 80 con un éxito importante ya que introdujo las primeras motos de motocross de 125cc refrigeradas por agua en 1981 mientras que un año más tarde implementó la nueva suspensión trasera Pro Lever a todos sus modelos de motocross.
En 1984, KTM comenzó a fabricar radiadores y los vendió a competidores (siendo Suzuki uno de los nombres más importantes). Sin embargo, al mismo tiempo que fabricaban piezas para motocicletas, la compañía celebró su motor KTM número 100.000, que tenía una cilindrada de 500cc, con sistema de refrigeración líquida y podía producir más de 50bhp.
La producción en serie del motor KTM de 4 tiempos con refrigeración líquida comenzó en 1987, pero un año después, uno de los fundadores de la compañía, Eric Trunkenpolz muere. Debido a la quiebra, la empresa se dividió en divisiones independientes, que siguieron fabricando radiadores o construyendo motocicletas y bicicletas. En 1992, se fundó oficialmente la nueva KTM Sportmotorcycle GmbH, con un nuevo equipo directivo, un nuevo Hard Enduro y un nuevo diseño de motocicleta.