A KTM-et 1934-ben Hans Trunkenpolz alapította, és kezdetben Kraftfahrzeuge Trunkenpolz néven volt ismert. Mivel a cég valójában egy fémmegmunkáló műhely volt, és az eladások meglehetősen alacsonyak voltak, a tulajdonosok úgy döntöttek, hogy motorkerékpárok gyártásába kezdenek. Két évvel később, 1953-ban egy Ernst Kronreif nevű osztrák üzletember megvásárolta a cég nagy részét, amelyet átneveztek Kronreif & Trunkenpolz Mattighofen (KTM) névre.
A fennállás első évében mindössze 20 alkalmazottjuk volt, és naponta körülbelül három motorkerékpárt gyártottak, köztük az 1951-ben megkezdett 98 köbcentis R100-ast. A KTM 1953-ban vett részt először motorsporteseményeken, az 5. Gaisberg versenyen, ahol az első három helyet szerezte meg.
Egy évvel később a KTM ünnepelte az 1000. motorkerékpárjának átadását, és ugyanebben az évben megnyerte az osztrák 125-ös országos bajnokságot. Két évvel később, 1956-ban a KTM először vett részt a Nemzetközi Hatnapos versenyen, ahol Egon Dornauer aranyérmet szerzett.
1959-ben a KTM mérnöke, Ludwig Apfelbeck kifejlesztett egy új versenymotort, amellyel Erwin Lechner több offroad versenyt is megnyert. Bár a dolgok elég jól mentek a cég számára, a KTM 1964-ben kerékpárok gyártásával kezd foglalkozni.
Két évvel később a KTM megkezdte a terepmotoros Penton Six Days gyártását, amelyet az USA-ba szántak exportra. Ugyanebben az évben Manfred Klerr megnyeri az osztrák országos bajnokságot az új 250 köbcentis Motorcross motorral.
Még fontosabb, hogy 1973-ban a KTM megkezdi a 250-es Motorcross és Enduro sorozatgyártását, míg ugyanebben az évben az osztrák csapat az első világbajnoki pontokat és az első nagydíjgyőzelmeket jegyzi. 1974-ig a KTM nem kevesebb, mint 42 modellel rendelkezett, de még ebben az évben megkezdi a KTM Hobby III gyártását.
A 80-as éveket a KTM fontos találattal kezdte, hiszen 1981-ben bemutatta az első vízhűtéses 125 köbcentis Motorcross motorokat, míg egy évvel később minden Motorcross modelljén bevezette az új Pro Lever hátsó felfüggesztést.
1984-ben a KTM elkezdte gyártani a hűtőket és eladta azokat a versenytársaknak (az egyik legfontosabb név a Suzuki). Ugyanakkor azonban a motorkerékpár-alkatrészek gyártásával egy időben ünnepelte a cég a 100.000. KTM motort, amely 500 köbcentis lökettérfogattal, folyadékhűtéses rendszerrel érkezett, és több mint 50 lóerős teljesítményre volt képes.
A KTM négyütemű folyadékhűtéses motorjának sorozatgyártása 1987-ben kezdődött, de egy évvel később a cég egyik alapítója, Eric Trunkenpolz meghal. A csőd miatt a vállalatot független részlegekre osztották, amelyek vagy a radiátorok gyártását, vagy a motorkerékpárok és kerékpárok építését folytatták. 1992-ben hivatalosan is megalakult az új KTM Sportmotorcycle GmbH, amely új vezetőséggel, új Hard Enduróval és új motorkerékpár-dizájnnal rendelkezett.