KTM grundades 1934 av Hans Trunkenpolz och hette till en början Kraftfahrzeuge Trunkenpolz. Eftersom företaget egentligen var en metallbearbetningsverkstad och försäljningen var ganska låg bestämde sig ägarna för att börja tillverka motorcyklar. Två år senare, 1953, köpte en österrikisk affärsman vid namn Ernst Kronreif en stor andel av företaget som bytte namn till Kronreif & Trunkenpolz Mattighofen (KTM).
Under det första året av sin existens hade de bara 20 anställda och tillverkade ungefär tre motorcyklar per dag, inklusive 98cc R100, ett projekt som påbörjades 1951. KTM deltog för första gången i motorsportevenemang 1953 i den femte Gaisberg-tävlingen där man vann de tre första platserna.
Ett år senare firade KTM leveransen av sin 1000:e motorcykel och under samma år vann man det österrikiska nationella mästerskapet för 125 motorcyklar. Två år senare, 1956, deltog KTM för första gången i det internationella sexdagarsloppet och Egon Dornauer vann guldet.
År 1959 utvecklade KTM-ingenjören Ludwig Apfelbeck en ny tävlingsmotorcykel som Erwin Lechner använder för att vinna flera offroadtävlingar. Trots att det gick ganska bra för företaget börjar KTM tillverka cyklar 1964.
Två år senare påbörjar KTM tillverkningen av terrängcykeln Penton Six Days, en motorcykel som var tänkt att exporteras till USA. Samma år vinner Manfred Klerr det österrikiska nationella mästerskapet med den nya 250cc Motorcross-motorcykeln. 1973 börjar KTM serietillverka 250 Motorcross- och Enduro-motorcyklar, medan det österrikiska teamet samma år tar de första världsmästarpoängen och vinner de första Grand Prix-vinsterna. Fram till 1974 hade KTM ett sortiment på inte mindre än 42 modeller, men trots det startar företaget samma år produktionen av KTM Hobby III.
KTM inledde 80-talet med en viktig hit då man 1981 introducerade de första vattenkylda 125 cc-motorcrossmotorcyklarna samtidigt som man ett år senare införde den nya Pro Lever-bakhjulsupphänningen i alla sina motorcrossmodeller.
År 1984 började KTM tillverka kylare och sålde dem till konkurrenterna (Suzuki var ett av de viktigaste namnen). Men samtidigt som de tillverkade motorcykeldelar firade företaget sin 100 000:e KTM-motor som kom med ett slagvolym på 500 cc, med vätskekylningssystem och kunde producera mer än 50 hk.
Serietillverkningen av KTM:s fyrtakts vätskekylda motor startade 1987, men ett år senare dör en av företagets grundare, Eric Trunkenpolz. På grund av konkursen delades företaget upp i oberoende divisioner som antingen fortsatte att tillverka kylare eller bygga motorcyklar och cyklar. År 1992 grundades officiellt det nya KTM Sportmotorcycle GmbH med en ny ledningsgrupp, en ny Hard Enduro och en ny motorcykeldesign.