Mojora AI

Moderne Architekturen

Was ist ein Transformer?

Transformer erklärt: Tokens, Embeddings, Multi-Head Self-Attention, Feed-Forward-Schichten und Positionskodierung – die Architektur hinter modernen KI-Modellen.

Schwierigkeit
Fortgeschritten
Lesezeit
ca. 3 Min.
Aktualisiert
5.8.2026

Kurz erklärt

Ein Transformer ist eine neuronale Netzarchitektur, die eine Eingabe vollständig über Self-Attention und nachgeschaltete Feed-Forward-Schichten verarbeitet, ohne rekurrente Verbindungen. Vorgestellt wurde sie 2017 von Vaswani und Kollegen unter dem Titel „Attention Is All You Need“. Weil alle Positionen gleichzeitig berechnet werden können, lassen sich Transformer sehr gut parallelisieren – die Voraussetzung für das Training heutiger großer Sprachmodelle.

Warum gibt es Transformer?

Rekurrente Modelle verarbeiten ein Element nach dem anderen. Diese Reihenfolge lässt sich nicht parallelisieren und begrenzt damit die Modellgröße, die sich in vertretbarer Zeit trainieren lässt. Der Transformer löst die Abhängigkeit auf: Alle Positionen einer Sequenz werden im selben Rechenschritt betrachtet.

Wie funktioniert ein Transformer?

TokensEmbeddings + PositionSelf-AttentionFeed ForwardAusgabe
Verarbeitungskette: Tokens → Embeddings + Positionskodierung → Self-Attention → Feed Forward → Ausgabe.
  • Tokenisierung: Der Text wird in Tokens zerlegt – meist Wortteile, nicht ganze Wörter.
  • Embedding: Jedes Token wird auf einen Vektor abgebildet, der seine Bedeutung im Zusammenhang darstellbar macht.
  • Positionskodierung: Da Attention keine Reihenfolge kennt, wird Positionsinformation hinzugefügt.
  • Multi-Head Self-Attention: Mehrere Attention-Köpfe betrachten die Sequenz gleichzeitig unter verschiedenen Gesichtspunkten.
  • Feed-Forward-Schicht: verarbeitet jede Position einzeln weiter und erhöht die Ausdruckskraft.
  • Residualverbindungen und Layer-Normalisierung: halten das Training tiefer Stapel stabil.
  • Stapelung: Diese Blöcke werden vielfach hintereinandergeschaltet – bei großen Modellen mehrere Dutzend Mal.

Encoder, Decoder und was daraus wurde

Die ursprüngliche Architektur bestand aus einem Encoder, der die Eingabe liest, und einem Decoder, der die Ausgabe erzeugt. Daraus entwickelten sich drei Familien: reine Encoder-Modelle für Verstehensaufgaben wie Klassifikation, reine Decoder-Modelle für die Texterzeugung – die Grundlage heutiger Sprachmodelle – und Encoder-Decoder-Modelle für Übersetzung und Zusammenfassung.

Ein einfaches Beispiel

Bei der Eingabe „Bitte fasse dieses Angebot zusammen“ wird der Text in Tokens zerlegt und in Vektoren übersetzt. Die Attention-Schichten stellen Bezüge zwischen den Tokens her, etwa zwischen „fasse zusammen“ und dem Inhalt des Angebots. Aus dem Ergebnis der letzten Schicht wird Token für Token eine Antwort erzeugt.

Stärken und Grenzen

  • Stärke: hohe Parallelisierbarkeit und dadurch trainierbar auf sehr großen Datenmengen.
  • Stärke: Bezüge über weite Distanzen innerhalb des Kontextfensters.
  • Stärke: übertragbar auf Bild, Ton und Zeitreihen, nicht nur auf Text.
  • Grenze: Aufwand der Self-Attention wächst quadratisch mit der Sequenzlänge.
  • Grenze: hoher Bedarf an Rechenleistung und Speicher.
  • Grenze: außerhalb des Kontextfensters besteht kein Gedächtnis – dieses muss ein System darum herum bereitstellen.

Zusammenhang mit anderen KI-Technologien

Der Transformer setzt Self-Attention voraus und ersetzt RNN und LSTM in den meisten Sprachaufgaben. Ein Large Language Model ist im Kern ein sehr großer, auf sehr vielen Texten trainierter Transformer.

Häufige Fragen – kurz beantwortet

Jede Antwort ist eigenständig verständlich, auch ohne den restlichen Artikel.

Was ist ein Transformer?

Ein Transformer ist eine neuronale Netzarchitektur, die Beziehungen zwischen Elementen einer Eingabe über Attention verarbeitet und dabei alle Positionen parallel berücksichtigt. Die Architektur wurde 2017 in „Attention Is All You Need“ von Vaswani et al. vorgestellt und bildet die Grundlage vieler heutiger Sprach- und multimodaler Modelle.

Wie funktioniert ein Transformer?

Der Eingabetext wird in Tokens zerlegt und in Vektoren, sogenannte Embeddings, überführt. Positionsinformationen werden ergänzt, danach durchläuft die Sequenz mehrere Blöcke aus Multi-Head Self-Attention und Feed-Forward-Schichten mit Residualverbindungen und Normalisierung. Am Ende steht für jede Position eine kontextabhängige Repräsentation.

Was unterscheidet Transformer von RNNs?

Ein RNN verarbeitet eine Sequenz schrittweise, ein Transformer verarbeitet alle Positionen gleichzeitig. Dadurch ist das Training parallelisierbar, und der Zugriff auf weit entfernte Sequenzteile erfolgt direkt statt über viele Zwischenschritte.

Warum sind Transformer für Large Language Models wichtig?

Die parallele Verarbeitung erlaubt das Training auf sehr großen Textmengen in vertretbarer Zeit, und die Qualität steigt mit Modellgröße und Datenmenge zuverlässig genug, um große Investitionen zu rechtfertigen. Ohne diese Skalierbarkeit wären heutige Large Language Models praktisch nicht trainierbar.

Welche Grenzen besitzen Transformer?

Transformer benötigen viel Rechenleistung und Speicher, klassische Self-Attention skaliert quadratisch mit der Sequenzlänge, und das Kontextfenster ist begrenzt. Die Architektur selbst garantiert keine faktische Korrektheit der Ausgabe.

Einordnung im Wissensnetz

Hauptthema dieser Seite
Transformer (Maschinelles Lernen)
Verwandte Begriffe
Attention-Mechanismus · Large Language Model · Positional Encoding

Fachliche Grundlage: Attention, Neuronale Netze. Der nächste Schritt im Lernpfad ist Large Language Models.

Quellen & weiterführendes Lernen

Belege für die fachlichen Aussagen dieses Artikels und ausgewählte externe Lernangebote. Externe Anbieter sind keine Partner von Mojora AI.

Quellen

Weiterlernen