Skip to main content
Entwickler Themen
Toggle Dark/Light/Auto mode Toggle Dark/Light/Auto mode Toggle Dark/Light/Auto mode Back to homepage

0.2. Geschichte der LLMs

Viele sind mit ChatGPT in diese Geschichte eingestiegen. Das war Ende 2022, und es fühlte sich an wie ein Anfang. Es war ein Anfang für die Nutzung — nicht für die Modelle. Darunter lag eine Architektur von 2017, eine generative Linie ab 2018 und ein Forschungsfeld, das schon nachschlug und handelte, bevor der Chatbot öffentlich war. Die Geschichte ist deshalb keine Treppe aus großen Schritten, sondern überlappende Linien.

Der Transformer

Vor dem Transformer war Sprachmodellierung möglich, aber unbequem. Statistische n-Gramme sahen nur ein kurzes lokales Fenster. Rekurrente Netze konnten längere Sequenzen, ließen sich aber schlecht parallel trainieren; die Aufmerksamkeit, die Bahdanau, Cho und Bengio 2014 (extern) fürs Übersetzen einführten, klebte noch an diesem Flaschenhals. 2017 streichen Vaswani und Kollegen bei Google die Recurrence ganz. Attention Is All You Need (extern) beschreibt ein Netz nur aus Attention: den Transformer. Er lässt sich parallel trainieren, skaliert, und wird die gemeinsame Architekturfamilie hinter GPT, BERT, Llama, Claude und Gemini.

GPT — die generative Linie

2018 zeigt OpenAI, was ein Transformer kann, wenn man ihn nur in eine Richtung laufen lässt. GPT (extern) wird unüberwacht auf Text vortrainiert und danach auf Aufgaben feinabgestimmt: ein Decoder-only-Modell, links nach rechts, dieselbe Kernoperation wie unter Was sind LLMs — das nächste Stück Text. Auf dieser Linie sitzt später ChatGPT. Im selben Jahr erscheint bei Google BERT (extern) : ein bidirektionaler Encoder für Sprachverständnis, kein GPT-artiges Weiterschreiben. Dieselbe Architekturfamilie, eine andere Gabel.

GPT-2 (2019, extern) zeigt Zero-Shot: Übersetzung, Fragen, Zusammenfassung — ohne extra Aufgabentraining, nur weil das Modell gelernt hat, Text fortzusetzen. GPT-3 (2020, extern) treibt dasselbe auf 175 Milliarden Parameter und nennt es In-Context Learning: die Aufgabe steht im Prompt, die Gewichte bleiben stehen. Das Paper nennt gleichzeitig die Schwächen, die später jeder kennt: erfundene Fakten, Datenlecks, unsichere Wahrheit.

Ein Index neben den Gewichten

Im selben Jahr 2020, in dem GPT-3 erscheint, beschreiben Lewis und Kollegen bei Facebook AI Retrieval-Augmented Generation. RAG (extern) koppelt ein generatives Modell an einen durchsuchbaren Index: parametrisches Gedächtnis in den Gewichten, nicht-parametrisches Gedächtnis im Index. Google hatte denselben Gedanken wenige Monate zuvor unter dem Namen REALM (extern) ins Pretraining geholt. Die Pointe ist nicht, dass Detailwissen nicht mehr trainiert werden muss. Die Pointe ist, dass sich Wissen im Index austauschen lässt, ohne das Netz neu zu trainieren — im Original: Wissen könne „directly revised and expanded“ werden. Der Index im RAG-Paper ist ein Wikipedia-Stand vom Dezember 2018, kein Live-Web.

Suchen statt nur erinnern

Was im Index steht, ist so aktuell wie der Index. Live wird es, wenn das Modell eine Suchmaschine bedient. WebGPT (Dezember 2021, extern) feint GPT-3 so, dass es in einer textbasierten Browser-Umgebung Befehle ausgibt: suchen, in der Seite finden, zitieren, wiederholen, bis eine Antwort mit Quellen dasteht. Das ist Nachschlagen und ein Loop aus Aktion und Beobachtung — beides vor dem ChatGPT-Launch.

Denken im Text, Handeln in der Welt

Anfang 2022 zeigen Wei und Kollegen bei Google, dass große Modelle besser rechnen und schließen, wenn der Prompt Zwischengründe enthält: Chain-of-Thought (extern) . Das zerlegt die Aufgabe — aber nur im erzeugten Text, ohne Werkzeug, ohne Beobachtung aus der Welt. ReAct (Oktober 2022, extern) flicht beides ineinander: Gedanke, Aktion, Beobachtung. Chain-of-Thought allein, so das Paper, sei „not grounded in the external world“. Der belastbare Agent in dieser Geschichte ist zuerst ein Modell in genau diesem Loop — nicht mehrere Agenten.

Der Produktsprung

Was im November 2022 öffentlich wird, ist nicht die erste Fähigkeit zum Nachschlagen oder Handeln. Es ist ein Dialogprodukt. InstructGPT (extern) richtet Modelle mit Demonstrationen und menschlichem Feedback (RLHF) darauf aus, Anweisungen zu folgen; ein 1,3-Milliarden-Modell wurde von Labelern gegenüber dem 175-Milliarden-GPT-3 bevorzugt. ChatGPT (30. November 2022, extern) ist der Geschwisterstand davon fürs Gespräch: nachfragen, Fehler einräumen, unangemessene Bitten ablehnen. Der Launch-Text verspricht das. Er verspricht keinen Browser und keine Plugins.

2023: derselbe Loop, mehr Labore

Im Februar 2023 legt Meta LLaMA (extern) als offene Gewichte vor; LLaMA-13B schlägt GPT-3 mit 175 Milliarden Parametern auf vielen Benchmarks. Am 14. März erscheinen GPT-4 (extern) und Claude (extern) am selben Kalendertag. Ab hier ist die Frontier ein Feld, kein einzelnes Labor.

Neun Tage nach GPT-4 macht OpenAI aus Nachschlagen und Handeln ein Produkt: ChatGPT-Plugins (23. März 2023, extern) mit Browser und Retrieval; im Juni folgt Function Calling (extern) — dasselbe Muster wie bei den Plugins, als JSON-Schnittstelle für Entwickler. Das ist nicht eine neue Architektur. Es ist der Loop von WebGPT und ReAct in der API.

Langes Denken ohne Werkzeug

Im September 2024 veröffentlicht OpenAI o1 (extern) : ein Modell, das vor der sichtbaren Antwort eine (versteckte) Gedankenkette erzeugt, trainiert mit Verstärkungslernen. Das ist Chain-of-Thought, aber nicht als Prompttrick, sondern als trainierte Fähigkeit; die Leistung steigt, wenn man ihm mehr Denkzeit gibt. Der Launch ist ausdrücklich früh: kein Web-Browsing, kein Function Calling. o1 ist kein Agenten-Release. Es ist die Linie „Denken im Text“, härter gemacht.

Dieselbe Schleife, größerer Hebel

Wenige Wochen nach o1 zeigt Anthropic, dass der Loop nicht an JSON-Tools endet: Computer Use (Oktober 2024, extern) sieht den Bildschirm, bewegt den Cursor, klickt, tippt — stundenlange UI-Aktionen, immer noch ein Modell. MCP (November 2024, extern) ist die Steckerleiste dazu: ein offener Standard, über den Assistenten Daten und Werkzeuge anbinden. Das ist Infrastruktur, keine neue Modellklasse.

Die Namen wechseln schneller als die Linien

Note
Bis hierher hängt die Geschichte an Papers und Lab-Blogs. Was folgt, skizziert, wie sich dieselben Linien 2025 und 2026 zeigen — ohne Vollständigkeit, ohne Benchmark-Schlacht, ohne jede Versionsnummer.

2025 macht langes Denken zur Massenware. DeepSeek-R1 (Januar 2025, extern) legt offene Gewichte und einen Bericht vor; die Behauptung ist o1-nahes Reasoning per RL, nicht der Ursprung dieser Linie. Gemini 2.5 (extern) nennt Google ein Thinking-Modell. Claude 4 (Mai 2025, extern) ist hybrid — schnelle Antwort oder längeres Nachdenken — und das Nachdenken darf Werkzeuge nutzen. Die Trennung, mit der o1 startete, hält so nicht. GPT-5 (August 2025, extern) zieht Chat-Modell und Reasoning in ein System, das selbst entscheidet, wann es länger nachdenkt.

Zugleich wird der Tool-Loop zum Entwicklerprodukt: Claude Code in Terminal und IDE; OpenAI Codex (Mai 2025, extern) als Cloud-Agent an Repositories. Llama 4 (April 2025, extern) hält die Linie offener Gewichte. Die Produktnamen rasen weiter. Die Linien tun es nicht.

Dieselbe Maschine

Ein LLM setzt Text fort. Das hat sich in dieser Geschichte nicht geändert. Was sich geändert hat, ist, woraus es fortsetzen darf: aus den Gewichten, aus einem Index, aus einer Suchseite, aus einem Werkzeugergebnis, aus einer langen Gedankenkette. ChatGPT war der Moment, an dem das für viele sichtbar wurde. Die Linien darunter liefen schon, und sie laufen weiter. Wer die Arbeitsweise nachlesen will, findet sie unter Was sind LLMs.

Quellen und Vertiefung

Die Aussagen oben stützen sich auf Originalarbeiten und First-Party-Texte der Labore, nicht auf sekundäre Historiografien. Die meisten Quellen sind Englisch.

Note
Wer nur wenige Quellen lesen will: den Transformer, GPT-3, RAG, ReAct, den ChatGPT-Launch und o1. Der Rest vertieft einzelne Linien.

Architektur

Generative Linie

Index, Browser, Loop

Dialogprodukt und API

Reasoning und Hebel

Skizze 2025