KTM werd in 1934 opgericht door Hans Trunkenpolz en stond aanvankelijk bekend als Kraftfahrzeuge Trunkenpolz. Omdat het bedrijf eigenlijk een metaalbewerkingsbedrijf was en de verkoopcijfers vrij laag waren, besloten de eigenaren motorfietsen te gaan produceren. Twee jaar later, in 1953, kocht een Oostenrijkse zakenman genaamd Ernst Kronreif een groot aandeel in het bedrijf, dat werd omgedoopt tot Kronreif & Trunkenpolz Mattighofen (KTM).
In het eerste jaar van hun bestaan hadden ze slechts 20 werknemers en produceerden ze ongeveer drie motorfietsen per dag, waaronder de 98cc R100, een project dat was begonnen in 1951. KTM nam in 1953 voor het eerst deel aan autosportevenementen tijdens de 5e Gaisberg-competitie, waarbij het de eerste drie plaatsen behaalde.
Een jaar later vierde KTM de levering van hun 1000e motorfiets en in datzelfde jaar won het bedrijf het Oostenrijkse 125-nationale kampioenschap. Twee jaar later, in 1956, nam de KTM voor het eerst deel aan de internationale zesdaagse race en Egon Dornauer won het goud.
In 1959 ontwikkelde KTM-ingenieur Ludwig Apfelbeck een nieuwe racemotorfiets waarmee Erwin Lechner meerdere offroad-wedstrijden won. Hoewel de zaken voor het bedrijf vrij goed gingen, begon KTM in 1964 met de productie van fietsen.
Twee jaar later begon KTM met de productie van de crosscountry Penton Six Days, een motorfiets die bedoeld was voor export naar de VS. In datzelfde jaar wint Manfred Klerr het Oostenrijkse nationale kampioenschap met de nieuwe 250 cc motorcrossmotor.
Belangrijker is dat KTM in 1973 begint met de serieproductie van de 250 cc motorcross en enduro, terwijl het Oostenrijkse team in datzelfde jaar de eerste punten voor het wereldkampioenschap en de eerste Grand Prix-overwinningen boekt. Tot 1974 had KTM een gamma van niet minder dan 42 modellen, maar toch begon het bedrijf in datzelfde jaar met de productie van de KTM Hobby III.
KTM begon de jaren ’80 met een belangrijke slag toen ze in 1981 de eerste watergekoelde 125cc Motorcross-motoren introduceerden, terwijl ze een jaar later de nieuwe Pro Lever achtervering op al hun motorcross-modellen implementeerden.
In 1984 begon KTM met het maken van radiateurs en verkocht ze die aan concurrenten (Suzuki was een van de belangrijkste namen). Echter, in dezelfde tijd dat ze motorfietsonderdelen produceerden, vierde het bedrijf hun 100.000ste KTM motor die kwam met een cilinderinhoud van 500cc, met vloeistofkoelsysteem en kon meer dan 50 pk produceren.
De serieproductie van de KTM 4-takt vloeistofgekoelde motor begon in 1987, maar een jaar later overlijdt een van de oprichters van het bedrijf, Eric Trunkenpolz. Wegens faillissement werd het bedrijf opgedeeld in onafhankelijke divisies, die ofwel radiateuren bleven maken ofwel motorfietsen en fietsen bleven bouwen. In 1992 werd de nieuwe KTM Sportmotorcycle GmbH officieel opgericht, met een nieuw management team, een nieuwe Hard Enduro en een nieuw motorfiets ontwerp.