Mojora AI

Sprachmodelle

Was ist ein Large Language Model (LLM)?

LLM einfach erklärt: Vortraining auf großen Textmengen, Vorhersage des nächsten Tokens, Feinabstimmung, Kontextfenster, Stärken und Grenzen.

Schwierigkeit
Mittel
Lesezeit
ca. 3 Min.
Aktualisiert
5.8.2026
Voraussetzung
Transformer

Kurz erklärt

Ein Large Language Model (LLM) ist ein sehr großes, auf Transformer-Architektur beruhendes Sprachmodell, das auf umfangreichen Textmengen darauf trainiert wurde, das jeweils nächste Token vorherzusagen. Aus dieser einfachen Trainingsaufgabe entsteht ein Modell, das Texte zusammenfassen, umformulieren, übersetzen, klassifizieren und beantworten kann. Ein LLM verfügt jedoch über keine Faktendatenbank: Es erzeugt sprachlich wahrscheinliche Fortsetzungen, weshalb Ausgaben sachlich falsch sein können.

Warum gibt es Large Language Models?

Frühere Sprachsysteme wurden für jede Aufgabe eigens trainiert – ein Modell für Klassifikation, eines für Übersetzung. Mit wachsender Modell- und Datenmenge zeigte sich, dass ein einziges, allgemein vortrainiertes Modell viele Aufgaben allein aus der Aufgabenbeschreibung im Text bewältigt. Das verschiebt den Aufwand von der Modellentwicklung zur Anwendung.

Wie funktioniert ein LLM?

VortrainingFeinabstimmungAnwendung
Vortraining, Feinabstimmung und Anwendung eines Sprachmodells.
  • Vortraining: Das Modell lernt aus sehr großen Textmengen, das nächste Token vorherzusagen. Dabei entstehen Sprachstruktur, Weltbezüge und Stilmuster.
  • Feinabstimmung: Anhand von Beispielantworten und menschlicher Bewertung wird das Modell darauf ausgerichtet, Anweisungen zu folgen und unerwünschte Ausgaben zu vermeiden.
  • Anwendung (Inferenz): Die Eingabe wird tokenisiert, das Modell erzeugt Token für Token eine Antwort. Jedes erzeugte Token fließt in die Berechnung des nächsten ein.

Begriffe, die im Betrieb wichtig werden

  • Token: kleinste Verarbeitungseinheit, im Deutschen häufig ein Wortteil. Abrechnung und Kontextgrenzen zählen in Tokens.
  • Kontextfenster: maximale Anzahl Tokens aus Eingabe und Ausgabe, die das Modell gleichzeitig berücksichtigen kann.
  • Parameter: die gelernten Gewichte. Ihre Zahl ist ein grober, aber unzuverlässiger Hinweis auf die Leistungsfähigkeit.
  • Temperatur: Steuergröße für die Zufälligkeit bei der Auswahl des nächsten Tokens.
  • Halluzination: sprachlich schlüssige, inhaltlich falsche Ausgabe – eine Folge des Vorhersageprinzips, kein Programmfehler.
  • RAG (Retrieval Augmented Generation): dem Modell werden vor der Antwort passende eigene Dokumente beigelegt. Der übliche Weg, um belegbare Antworten aus Unternehmenswissen zu erhalten.

Ein einfaches Beispiel

Eine Anfrage lautet: „Fasse dieses Protokoll in fünf Stichpunkten zusammen.“ Das Modell erhält Anweisung und Protokoll als Tokens und erzeugt die Zusammenfassung schrittweise. Es schlägt dabei nichts nach – die Antwort beruht ausschließlich auf dem übergebenen Text und dem im Training gelernten Sprachverhalten.

Stärken und Grenzen

  • Stärke: ein Modell für viele Textaufgaben, ohne eigenes Training.
  • Stärke: sehr gut bei Umformulierung, Zusammenfassung, Entwurf und Strukturierung.
  • Stärke: über RAG mit eigenen Dokumenten kombinierbar.
  • Grenze: keine Gewähr für sachliche Richtigkeit; Ausgaben brauchen bei verbindlichen Inhalten eine Prüfung.
  • Grenze: Wissen endet mit dem Trainingsstand, sofern keine aktuellen Quellen beigelegt werden.
  • Grenze: datenschutzrechtlich relevant, sobald personenbezogene Daten in die Eingabe geraten.
  • Grenze: Betriebskosten skalieren mit der Zahl der verarbeiteten Tokens.

Zusammenhang mit anderen KI-Technologien

Ein LLM setzt Transformer und Self-Attention voraus und ist damit die derzeitige Spitze dieses Lernpfads. In Unternehmen entfaltet es Wirkung erst im Zusammenspiel mit Wissenszugriff, Rechteverwaltung und geprüften Abläufen – dort setzen die weiterführenden Themen des Lernplans an.

Häufige Fragen – kurz beantwortet

Jede Antwort ist eigenständig verständlich, auch ohne den restlichen Artikel.

Was ist ein Large Language Model?

Ein Large Language Model ist ein sehr großes, auf der Transformer-Architektur basierendes Modell, das auf umfangreichen Textmengen trainiert wurde und das jeweils nächste Token einer Sequenz vorhersagt. Aus dieser Vorhersagefähigkeit ergeben sich Anwendungen wie Textgenerierung, Zusammenfassung, Übersetzung und Codeunterstützung.

Was ist der Unterschied zwischen einem LLM und ChatGPT?

Ein LLM ist das zugrunde liegende Modell. ChatGPT ist ein Produkt, das ein solches Modell um Chat-Oberfläche, Systemanweisungen, Sicherheitsfilter, Werkzeuge und Kontextverwaltung ergänzt. Dasselbe Modell kann in unterschiedlichen Produkten sehr unterschiedlich wirken.

Was sind Tokens?

Tokens sind die Einheiten, in die ein Modell Text zerlegt – meist Wortteile statt ganzer Wörter. Kontextlänge und Kosten werden in Tokens gemessen; im Deutschen entspricht ein Token grob drei bis vier Zeichen.

Warum halluzinieren Large Language Models?

Ein LLM optimiert die Wahrscheinlichkeit des nächsten Tokens, nicht den Wahrheitsgehalt einer Aussage. Fehlt gesichertes Wissen im Modell oder im Kontext, entsteht dennoch eine sprachlich plausible Fortsetzung. Halluzinationen lassen sich durch Quellenanbindung und Prüfschritte reduzieren, aber nicht prinzipiell ausschließen.

Kann ein LLM lokal betrieben werden?

Ja. Offene Modelle lassen sich auf eigener Hardware betreiben; kleinere Modelle laufen auf leistungsfähigen Arbeitsplatzrechnern, größere benötigen Server-GPUs. Lokaler Betrieb hält Daten im Haus, verlangt aber eigene Kapazität für Betrieb, Aktualisierung und Absicherung.

Wie wird ein Large Language Model trainiert?

Zuerst erfolgt ein Vortraining auf großen Textmengen mit dem Ziel der Token-Vorhersage. Danach folgen Feinabstimmung auf Instruktionsdaten und ein Abgleich mit menschlichen Präferenzen. Unternehmensspezifisches Wissen wird meist nicht antrainiert, sondern zur Laufzeit über Quellen in den Kontext gegeben.

Einordnung im Wissensnetz

Hauptthema dieser Seite
Large Language Model
Verwandte Begriffe
Transformer (Maschinelles Lernen) · Token · ChatGPT

Fachliche Grundlage: Transformer. Der nächste Schritt im Lernpfad ist die Übersicht.

Quellen & weiterführendes Lernen

Belege für die fachlichen Aussagen dieses Artikels und ausgewählte externe Lernangebote. Externe Anbieter sind keine Partner von Mojora AI.

Quellen

Weiterlernen