Ein erster urkundlicher Hinweis vom Jahr 1378 bezieht sich auf eine Eisenschmiede „in der Smalghaldin“.
Die Bezeichnung „in der klein Schmalkalden“ aus dem Jahre 1465 nennt erstmals eindeutig die Siedlung als „Dorf“.
Der Oberlauf der Schmalkalde bildete jahrhundertelang die Grenze zwischen dem Hessisch/Hennebergischen (ab 1866 Preussen) und dem Sachsen-Gothaischen Ortsteil. Nach dem Rückgang der bis ins 17. Jahrhundert gewesenen Haupterwerbsquelle, dem Bergbau, trat an diese Stelle die Herstellung von Blasebalgen, Schlössern und Nägeln, besonders aber die Anfertigung von Korbwaren.
Zigarren-, Metallwaren-, Taschen- und Lederfabriken verdrängten dann später auch die Korbmacher.
Im Oktober 1945 erfolgte die Umbenennung des Ortes in „Pappenheim“ nach dem sozialdemokratischen Antifaschisten Ludwig Pappenheim aus Schmalkalden. Dem Willen der Bevölkerung entsprechend erhielt der Ort am 27.Juli 1990 wieder den ursprünglichen Namen „Kleinschmalkalden“.
Kleinschmalkalden bildete zusammen mit der Nachbarstadt Brotterode einige Jahre die Verwaltungsgemeinschaft „Rennsteig“.
Seit 2006 gehört Kleinschmalkalden zur Gemeinde Floh-Seligenthal.