Neuronale Netze
Was ist ein LSTM?
LSTM einfach erklärt: Zellzustand, Input-, Forget- und Output-Gate – wie Long Short-Term Memory langfristige Abhängigkeiten in Sequenzen lernbar macht.
- Schwierigkeit
- Fortgeschritten
- Lesezeit
- ca. 3 Min.
- Aktualisiert
- 5.8.2026
- Voraussetzung
- RNN
Kurz erklärt
Ein Long Short-Term Memory (LSTM) ist eine besondere Form des rekurrenten neuronalen Netzes, die Informationen über viele Zeitschritte hinweg bewahren kann. Kern ist ein Zellzustand, der weitgehend ungestört durch die Sequenz läuft, sowie drei gelernte Tore (Gates), die steuern, was gelöscht, was aufgenommen und was ausgegeben wird. Dadurch bleibt der Gradient beim Training stabil, und langfristige Abhängigkeiten werden lernbar.
Warum gibt es LSTMs?
Einfache RNNs verlieren über lange Folgen den Bezug: Der Gradient wird mit jedem Zeitschritt kleiner, bis frühe Ereignisse keinen Einfluss mehr auf das Lernen haben. Hochreiter und Schmidhuber schlugen 1997 eine Zellstruktur vor, in der Information ohne wiederholte Multiplikation weitergereicht wird – das LSTM.
Wie funktioniert ein LSTM?
Ebene 1, verständlich: Die Zelle führt eine Art Notizzettel mit. In jedem Schritt entscheidet das Netz, welche Notizen es streicht, welche neue Information es aufschreibt und welchen Teil des Zettels es nach außen weitergibt. Alle drei Entscheidungen sind gelernt, nicht vorgegeben.
Die drei Tore
Technischer Blick
- Forget-Gate: entscheidet mit einem Wert zwischen 0 und 1 je Dimension, welcher Anteil des bisherigen Zellzustands erhalten bleibt.
- Input-Gate: bestimmt, wie stark die neu berechnete Kandidateninformation in den Zellzustand aufgenommen wird.
- Output-Gate: legt fest, welcher Teil des Zellzustands als versteckter Zustand nach außen sichtbar wird.
- Zellzustand cₜ: wird additiv fortgeschrieben (cₜ = fₜ·cₜ₋₁ + iₜ·c̃ₜ). Genau diese Addition hält den Gradienten stabil.
- Alle Tore verwenden eine Sigmoid-Funktion, deren Ausgabe zwischen 0 (vollständig sperren) und 1 (vollständig durchlassen) liegt.
Ein einfaches Beispiel
In einem langen Servicebericht steht früh der Satz „Anlage läuft im Notbetrieb“. Erst am Ende folgt die Frage nach dem Zustand. Ein einfaches RNN hat den frühen Hinweis meist verloren. Ein LSTM kann ihn im Zellzustand halten, weil kein Tor ihn in der Zwischenzeit gelöscht hat.
RNN, LSTM und Transformer im Vergleich
| Merkmal | RNN | LSTM | Transformer |
|---|---|---|---|
| Sequenzverarbeitung | ja, schrittweise | ja, schrittweise | ja, gesamte Folge auf einmal |
| Langfristige Abhängigkeiten | begrenzt | deutlich verbessert | sehr leistungsfähig innerhalb des Kontextfensters |
| Parallelisierung im Training | gering | gering | hoch |
| Speicherbedarf | niedrig | niedrig bis mittel | wächst quadratisch mit der Sequenzlänge |
| Rolle in heutigen Sprachmodellen | gering | gering | zentral |
| Typische Eignung | kurze Messreihen | mittellange Sequenzen, kleine Geräte | Text, Code, große Modelle |
Die Tabelle beschreibt Tendenzen, keine Rangfolge. Für kurze Messreihen auf einem Steuergerät ist ein LSTM häufig die sparsamere und stabilere Wahl.
Stärken und Grenzen
- Stärke: lernt Abhängigkeiten über hunderte Zeitschritte.
- Stärke: kompakt und ressourcenschonend, auch für eingebettete Systeme.
- Grenze: weiterhin schrittweise Verarbeitung, also schlecht parallelisierbar.
- Grenze: bei sehr langen Texten und großen Datenmengen dem Transformer unterlegen.
- Grenze: mehr Parameter pro Zelle als ein einfaches RNN.
Zusammenhang mit anderen KI-Technologien
Das LSTM war bis etwa 2017 die Standardarchitektur für Sprache und Übersetzung. Der Attention-Mechanismus entstand zunächst als Ergänzung solcher Modelle, bevor der Transformer die Rekurrenz vollständig ersetzte.
Häufige Fragen – kurz beantwortet
Jede Antwort ist eigenständig verständlich, auch ohne den restlichen Artikel.
Was ist ein LSTM?
Long Short-Term Memory ist eine rekurrente Netzarchitektur mit einem zusätzlichen Zellzustand und drei Gates, die steuern, welche Information gespeichert, verworfen und ausgegeben wird. Dadurch kann ein LSTM Informationen über viele Zeitschritte hinweg stabil bewahren.
Warum wurde LSTM entwickelt?
LSTM wurde 1997 von Sepp Hochreiter und Jürgen Schmidhuber vorgestellt, um das Problem verschwindender Gradienten klassischer RNNs zu adressieren. Der weitgehend additive Pfad des Zellzustands lässt Gradienten über lange Sequenzen hinweg erhalten bleiben.
Welche Aufgaben haben die drei Gates?
Das Forget-Gate entscheidet, welche Anteile des Zellzustands verworfen werden. Das Input-Gate bestimmt, welche neuen Informationen aufgenommen werden. Das Output-Gate legt fest, welcher Teil des Zellzustands als versteckter Zustand nach außen gegeben wird.
Was unterscheidet ein LSTM von einem Transformer?
Ein LSTM verarbeitet eine Sequenz schrittweise und hält Kontext in einem Zustand fest; ein Transformer betrachtet alle Positionen gleichzeitig über Attention. LSTMs sind sparsamer bei kurzen Sequenzen, Transformer sind besser parallelisierbar und bei langem Kontext präziser.
Einordnung im Wissensnetz
- Hauptthema dieser Seite
- Long Short-Term Memory
- Verwandte Begriffe
- Rekurrentes neuronales Netz · Sepp Hochreiter · Jürgen Schmidhuber
Fachliche Grundlage: RNN. Der nächste Schritt im Lernpfad ist Attention.
Quellen & weiterführendes Lernen
Belege für die fachlichen Aussagen dieses Artikels und ausgewählte externe Lernangebote. Externe Anbieter sind keine Partner von Mojora AI.
Quellen
- Long Short-Term Memory (öffnet in neuem Tab)
Sepp Hochreiter, Jürgen Schmidhuber · Neural Computation 9(8), 1735–1780 · 1997
Originalarbeit zur LSTM-Architektur mit Zellzustand und Gates.
doi.org
- Learning to Forget – Continual Prediction with LSTM
Felix Gers, Jürgen Schmidhuber, Fred Cummins · Neural Computation 12(10), 2451–2471 · 2000
Ergänzung des Forget-Gates, das heutige LSTMs prägt.
Weiterlernen
- Understanding LSTM Networks (öffnet in neuem Tab)
Christopher Olah · 2015
Anschauliche Erklärung von Zellzustand und Gates mit klaren Diagrammen.
colah.github.io
- Time Series Forecasting (öffnet in neuem Tab)
TensorFlow
Sequenzmodelle inklusive LSTM an einem durchgängigen Praxisbeispiel.
tensorflow.org
- Introduction to Long Short-Term Memory (öffnet in neuem Tab)
GeeksforGeeks
Zusätzliche Erklärung der Gates mit Rechenbeispielen.
geeksforgeeks.org