KTM:n perusti Hans Trunkenpolz vuonna 1934 ja se tunnettiin aluksi nimellä Kraftfahrzeuge Trunkenpolz. Koska yritys oli itse asiassa metallityöpaja ja myynti oli melko vähäistä, omistajat päättivät ryhtyä valmistamaan moottoripyöriä. Kaksi vuotta myöhemmin, vuonna 1953, itävaltalainen liikemies nimeltä Ernst Kronreif osti suuren osan yrityksestä, joka nimettiin uudelleen Kronreif & Trunkenpolz Mattighofeniksi (KTM).
Ensimmäisenä toimintavuotenaan yrityksellä oli vain 20 työntekijää, ja se valmisti noin kolme polkupyörää päivässä, mukaan luettuna 98-kuutioinen R100-pyörä, joka oli vuonna 1951 aloitettu projekti. KTM osallistui ensimmäisen kerran moottoriurheilutapahtumiin vuonna 1953 viidennessä Gaisbergin kilpailussa, jossa se voitti kolme ensimmäistä sijaa.
Vuotta myöhemmin KTM juhli 1000. moottoripyöränsä luovutusta, ja samana vuonna se voitti Itävallan 125-moottoripyörän kansallisen mestaruuden. Kaksi vuotta myöhemmin, vuonna 1956, KTM osallistui ensimmäistä kertaa kansainväliseen Six Days -kilpailuun, jossa Egon Dornauer voitti kultaa.
Vuonna 1959 KTM:n insinööri Ludwig Apfelbeck kehitti uuden kilpamoottoripyörän, jolla Erwin Lechner voitti useita offroad-kilpailuja. Vaikka asiat sujuivat yrityksellä melko hyvin, KTM aloittaa polkupyörien valmistuksen vuonna 1964.
Kaksi vuotta myöhemmin KTM aloitti maastopyörä Penton Six Days -moottoripyörän tuotannon, joka oli tarkoitettu vietäväksi Yhdysvaltoihin. Samana vuonna Manfred Klerr voittaa Itävallan kansallisen mestaruuden uudella 250-kuutioisella Motorcross-pyörällä.
Mikä vielä tärkeämpää, vuonna 1973 KTM aloittaa 250 Motorcross- ja Enduro-moottoripyörän sarjatuotannon, kun samana vuonna itävaltalainen tiimi kirjaa ensimmäiset MM-pisteet ja ensimmäiset Grand Prix -voitot. Vuoteen 1974 asti KTM:llä oli valikoimassaan peräti 42 mallia, mutta silti yritys aloittaa samana vuonna KTM Hobby III:n tuotannon.
KTM aloitti 80-luvun tärkeällä hitillä, sillä se esitteli ensimmäiset vesijäähdytteiset 125-kuutioiset Motorcross-pyörät vuonna 1981, kun taas vuotta myöhemmin se otti käyttöön uuden Pro Lever -takajousituksen kaikkiin Motorcross-malleihinsa.
Vuonna 1984 KTM aloitti jäähdyttimien valmistuksen ja myi niitä kilpailijoille (Suzuki oli yksi tärkeimmistä nimistä). Samaan aikaan kun he kuitenkin valmistivat moottoripyörän osia, yhtiö juhli 100 000. KTM-moottoriaan, joka oli tilavuudeltaan 500 cc, nestejäähdytyksellä varustettu ja pystyi tuottamaan yli 50 hv.
KTM:n nelitahtisen nestejäähdytteisen moottorin sarjatuotanto alkoi vuonna 1987, mutta vuotta myöhemmin yksi yhtiön perustajista, Eric Trunkenpolz, kuolee. Konkurssin vuoksi yritys jaettiin itsenäisiin osastoihin, jotka joko jatkoivat jäähdyttimien valmistusta tai moottoripyörien ja polkupyörien rakentamista. Vuonna 1992 perustettiin virallisesti uusi KTM Sportmotorcycle GmbH, jolla oli uusi johtoryhmä, uusi Hard Enduro ja uusi moottoripyöräsuunnittelu.