KTM založil v roce 1934 Hans Trunkenpolz a zpočátku se jmenovala Kraftfahrzeuge Trunkenpolz. Protože firma byla vlastně kovodílnou a odbyt byl poměrně nízký, rozhodli se majitelé začít vyrábět motocykly. O dva roky později, v roce 1953, koupil rakouský podnikatel Ernst Kronreif velký podíl ve společnosti, která byla přejmenována na Kronreif & Trunkenpolz Mattighofen (KTM).
V prvním roce existence měli pouze 20 zaměstnanců a vyráběli přibližně tři motocykly denně, včetně modelu R100 o objemu 98 cm3 , jehož projekt byl zahájen v roce 1951. KTM se poprvé zúčastnila motoristických závodů v roce 1953 v 5. ročníku soutěže v Gaisbergu, v níž obsadila první tři místa.
O rok později oslavila KTM dodávku svého 1000. motocyklu a během téhož roku vyhrála rakouský národní šampionát 125. V roce 1953 se KTM stala prvním výrobcem motocyklů v Rakousku. O dva roky později, v roce 1956, se KTM poprvé zúčastnila mezinárodního závodu Šestidenní a Egon Dornauer získal zlato.
V roce 1959 vyvinul inženýr KTM Ludwig Apfelbeck nový závodní motocykl, se kterým Erwin Lechner vyhrál několik terénních soutěží. Přestože se společnosti dařilo docela dobře, v roce 1964 začíná KTM vyrábět jízdní kola.
O dva roky později zahájila KTM výrobu terénního motocyklu Penton Six Days, který měl být exportován do USA. Ve stejném roce vyhrává Manfred Klerr rakouské národní mistrovství na novém motokrosovém motocyklu o objemu 250 cm3.
Důležitější je, že v roce 1973 začíná KTM sériově vyrábět motocykly 250 Motorcross a Enduro, zatímco ve stejném roce zaznamenává rakouský tým první body do mistrovství světa a první vítězství v Grand Prix. Do roku 1974 měla KTM v nabídce ne méně než 42 modelů, ale i přesto společnost v témže roce zahajuje výrobu modelu KTM Hobby III.
Osmdesátá léta zahájila KTM důležitým zásahem, neboť v roce 1981 představila první vodou chlazené motokrosové motocykly o objemu 125 ccm, zatímco o rok později implementovala nové zadní odpružení Pro Lever do všech svých motokrosových modelů.
V roce 1984 začala KTM vyrábět chladiče a prodávat je konkurenci (mezi nejvýznamnější jména patří Suzuki). Ve stejné době, kdy vyráběli motocyklové díly, však společnost oslavila 100 000. motor KTM, který měl zdvihový objem 500 cm3 , byl vybaven kapalinovým chlazením a dokázal vyvinout více než 50 k.
Sériová výroba čtyřtaktního kapalinou chlazeného motoru KTM byla zahájena v roce 1987, ale o rok později zemřel jeden ze zakladatelů společnosti Eric Trunkenpolz. Kvůli bankrotu byla společnost rozdělena na samostatné divize, které buď pokračovaly ve výrobě chladičů, nebo ve stavbě motocyklů a jízdních kol. V roce 1992 byla oficiálně založena nová společnost KTM Sportmotorcycle GmbH, která měla nové vedení, nové Hard Enduro a nový design motocyklů

.