Neuronale Netze
Was ist ein RNN (Recurrent Neural Network)?
RNN verständlich erklärt: rekurrente Netze für Sequenzen, versteckter Zustand, Backpropagation Through Time und das Problem verschwindender Gradienten.
- Schwierigkeit
- Mittel
- Lesezeit
- ca. 3 Min.
- Aktualisiert
- 5.8.2026
- Voraussetzung
- Neuronale Netze
Kurz erklärt
Ein Recurrent Neural Network (RNN) ist ein neuronales Netz für Folgen von Daten – Sätze, Messreihen, Kursverläufe. Es verarbeitet ein Element nach dem anderen und führt dabei einen versteckten Zustand mit, der die bisherigen Eingaben zusammenfasst und in den nächsten Schritt einfließt. Dadurch kann ein RNN den Zusammenhang innerhalb einer Sequenz berücksichtigen, verliert bei langen Folgen aber schnell den Bezug zu weit zurückliegenden Informationen.
Warum gibt es RNNs?
Bei Sequenzen ist die Reihenfolge Teil der Bedeutung. „Der Kunde storniert nicht“ und „Nicht der Kunde storniert“ enthalten dieselben Wörter. Ein Netz mit fester Eingabegröße kann damit nicht umgehen; es braucht eine Form von Gedächtnis.
Wie funktioniert ein RNN?
Das Netz erhält Element x₁ und berechnet daraus den Zustand h₁. Beim nächsten Element x₂ fließen sowohl x₂ als auch h₁ in die Berechnung von h₂ ein – und so weiter. Dieselben Gewichte werden in jedem Schritt wiederverwendet; das Netz ist gewissermaßen eine Schleife über die Zeit.
Ein einfaches Beispiel
Für die Vorhersage des Stromverbrauchs der nächsten Stunde liest ein RNN die Messwerte der letzten 24 Stunden nacheinander ein. Der versteckte Zustand hält fest, ob der Tag bisher ungewöhnlich verlief. Am Ende gibt das Netz einen Schätzwert aus.
Technischer Blick
Technischer Blick
- Rekurrenzgleichung: hₜ = f(Wₓ·xₜ + W_h·hₜ₋₁ + b), meist mit tanh als Aktivierungsfunktion.
- Backpropagation Through Time (BPTT): Das Netz wird für das Training über die Zeitschritte abgerollt; der Fehler wandert rückwärts durch alle Schritte.
- Verschwindende Gradienten: Da bei BPTT viele kleine Faktoren multipliziert werden, wird der Gradient über lange Sequenzen exponentiell klein – frühe Zeitpunkte beeinflussen das Lernen kaum noch.
- Explodierende Gradienten: der umgekehrte Fall; in der Praxis mit Gradient Clipping begrenzt.
Stärken und Grenzen
- Stärke: verarbeitet Sequenzen beliebiger Länge mit konstant vielen Parametern.
- Stärke: geringer Speicherbedarf, geeignet für kleine Geräte und Messreihen.
- Grenze: langfristige Abhängigkeiten werden nur schwer gelernt.
- Grenze: die schrittweise Verarbeitung lässt sich kaum parallelisieren – ein Grund, warum große Sprachmodelle heute anders gebaut sind.
Zusammenhang mit anderen KI-Technologien
Das LSTM ist eine Weiterentwicklung des RNN, die das Problem verschwindender Gradienten gezielt angeht. Attention und der Transformer verzichten dagegen ganz auf die schrittweise Rückkopplung.
Häufige Fragen – kurz beantwortet
Jede Antwort ist eigenständig verständlich, auch ohne den restlichen Artikel.
Was ist ein RNN?
Ein Recurrent Neural Network verarbeitet Sequenzen Element für Element und führt dabei einen versteckten Zustand mit, der Informationen aus vorangegangenen Schritten enthält. Damit kann ein RNN Reihenfolge und Kontext berücksichtigen, etwa in Text, Sprache oder Zeitreihen.
Was ist das Problem verschwindender Gradienten?
Beim Training über viele Zeitschritte werden Gradienten wiederholt multipliziert. Sind die Faktoren kleiner als eins, schrumpfen die Gradienten exponentiell, und weit zurückliegende Eingaben beeinflussen die Gewichtsanpassung kaum noch. Klassische RNNs lernen deshalb langfristige Abhängigkeiten nur unzureichend.
Warum wurden RNNs für viele Aufgaben durch Transformer abgelöst?
Ein RNN muss eine Sequenz sequentiell durchlaufen, was das Training schlecht parallelisierbar macht und lange Abhängigkeiten erschwert. Transformer greifen über Attention direkt auf alle Positionen zu und lassen sich parallel trainieren, was bei großen Textmengen entscheidend ist.
Werden RNNs heute noch eingesetzt?
Ja, in Nischen. Bei kurzen Sequenzen, geringen Datenmengen oder eng begrenzten Rechenressourcen, etwa auf eingebetteten Geräten, sind rekurrente Netze weiterhin praktikabel und sparsamer als Transformer.
Einordnung im Wissensnetz
- Hauptthema dieser Seite
- Rekurrentes neuronales Netz
- Verwandte Begriffe
- Long Short-Term Memory · Sequenzmodellierung · Vanishing-Gradient-Problem
Fachliche Grundlage: Neuronale Netze. Der nächste Schritt im Lernpfad ist LSTM.
Quellen & weiterführendes Lernen
Belege für die fachlichen Aussagen dieses Artikels und ausgewählte externe Lernangebote. Externe Anbieter sind keine Partner von Mojora AI.
Quellen
- Finding Structure in Time
Jeffrey L. Elman · Cognitive Science 14(2), 179–211 · 1990
Frühe Arbeit zu rekurrenten Netzen und versteckten Zuständen.
- Learning long-term dependencies with gradient descent is difficult (öffnet in neuem Tab)
Yoshua Bengio, Patrice Simard, Paolo Frasconi · IEEE Transactions on Neural Networks 5(2), 157–166 · 1994
Analyse des Problems verschwindender Gradienten in langen Sequenzen.
ieeexplore.ieee.org
Weiterlernen
- Time Series Forecasting (öffnet in neuem Tab)
TensorFlow
Sequenzmodelle inklusive LSTM an einem durchgängigen Praxisbeispiel.
tensorflow.org
- Understanding LSTM Networks (öffnet in neuem Tab)
Christopher Olah · 2015
Anschauliche Erklärung von Zellzustand und Gates mit klaren Diagrammen.
colah.github.io
- Introduction to Recurrent Neural Network (öffnet in neuem Tab)
GeeksforGeeks
Zusätzliche Einführung zu Sequenzverarbeitung und verstecktem Zustand.
geeksforgeeks.org