KTM blev grundlagt i 1934 af Hans Trunkenpolz og var oprindeligt kendt under navnet Kraftfahrzeuge Trunkenpolz. Da virksomheden egentlig var et metalforarbejdningsværksted, og salget var ret lavt, besluttede ejerne at begynde at fremstille motorcykler. To år senere, i 1953, købte en østrigsk forretningsmand ved navn Ernst Kronreif en stor andel af virksomheden, som blev omdøbt til Kronreif & Trunkenpolz Mattighofen (KTM).
I det første år af deres eksistens havde de kun 20 ansatte, og de producerede ca. tre motorcykler om dagen, herunder 98cc R100, et projekt, som blev påbegyndt i 1951. KTM deltog første gang i motorsportsbegivenheder i 1953 i den 5. Gaisberg-konkurrence, hvor den vandt de tre første pladser.
Et år senere kunne KTM fejre leveringen af deres 1000. motorcykel, og samme år vandt den det østrigske 125-nationalmesterskab. To år senere, i 1956, deltog KTM for første gang i det internationale seksdagesløb, og Egon Dornauer vandt guld.
I 1959 udviklede KTM-ingeniøren Ludwig Apfelbeck en ny racermotorcykel, som Erwin Lechner bruger til at vinde flere offroadkonkurrencer. Selv om det gik ret godt for virksomheden, begynder KTM at fremstille cykler i 1964.
To år senere påbegyndte KTM produktionen af den terrængående Penton Six Days, en motorcykel, som var beregnet til eksport til USA. Samme år vinder Manfred Klerr det østrigske nationale mesterskab på den nye 250cc Motorcross-motorcykel.
Mere vigtigt er det, at KTM i 1973 starter serieproduktionen af 250 Motorcross- og Enduro-motorcykler, mens det østrigske team samme år opnår de første VM-point og de første Grand Prix-sejre. Indtil 1974 havde KTM et sortiment på ikke mindre end 42 modeller, men alligevel starter virksomheden samme år produktionen af KTM Hobby III.
KTM startede 80’erne med et vigtigt hit, da de introducerede de første vandkølede 125cc Motorcross-motorcykler i 1981, mens de et år senere implementerede den nye Pro Lever-baghjulsophæng i alle deres motorcrossmodeller.
I 1984 begyndte KTM at fremstille kølere og solgte dem til konkurrenterne (Suzuki var et af de vigtigste navne). Men samtidig med at de fremstillede motorcykeldele, fejrede firmaet deres 100.000. KTM-motor, som kom med en slagvolumen på 500cc, med væskekølesystem og kunne yde mere end 50 hk.
Serieproduktionen af KTM’s 4-takts væskekølede motor startede i 1987, men et år senere dør en af firmaets grundlæggere, Eric Trunkenpolz. På grund af konkursen blev virksomheden opdelt i uafhængige afdelinger, som enten fortsatte med at fremstille radiatorer eller bygge motorcykler og cykler. I 1992 blev det nye KTM Sportmotorcycle GmbH officielt grundlagt med et nyt ledelsesteam, en ny Hard Enduro og et nyt motorcykeldesign.