2017 Transformer (Gemini 3.0)

Die Revolution der Aufmerksamkeit: Wie der Transformer die KI-Welt veränderte

Einführung

Stellen Sie sich vor, wir schreiben das Jahr 2016. Wenn Sie damals einen komplexen deutschen Satz in Google Translate eingegeben haben, kam am anderen Ende oft ein entzückendes, aber kaum verständliches Wort-Gulasch heraus. Künstliche Intelligenz war zwar schon beeindruckend, aber sie hatte ein Aufmerksamkeitsdefizit. Sie las Texte wie ein extrem kurzsichtiger Buchhalter: Wort für Wort, von links nach rechts, und vergaß dabei oft, wie der Satz angefangen hatte, bevor sie am Ende ankam.

Doch dann, im Jahr 2017, veröffentlichte ein Team von Google-Forschern ein Papier mit dem fast schon provokanten Titel „Attention Is All You Need“ (Aufmerksamkeit ist alles, was du brauchst). Es klang wie ein Beatles-Song, war aber der Startschuss für eine Revolution.

Dieses Kapitel widmet sich dem sogenannten „Transformer“. Nein, dabei handelt es sich nicht um Spielzeugautos, die sich in außerirdische Roboter verwandeln (obwohl das auch cool wäre). Es handelt sich um eine neue Architektur für neuronale Netze, die die Art und Weise, wie Computer Sprache verarbeiten, für immer verändert hat. Bis zu diesem Zeitpunkt waren wir in der KI-Forschung davon überzeugt, dass man Sprache streng chronologisch verarbeiten muss. Der Transformer trat an, um diese Überzeugung über den Haufen zu werfen. Er zeigte uns, dass Maschinen nicht lesen müssen wie Menschen, um Menschen zu verstehen.

Kernidee

Die radikale Kernidee des Papiers steckt bereits im Titel: Man braucht keine komplizierten wiederkehrenden Schleifen (sogenannte Rekurrenzen) oder Faltungen (Convolutions), die bis dahin der Goldstandard waren. Alles, was man braucht, ist ein Mechanismus namens „Attention“ (Aufmerksamkeit).

Um das zu verstehen, müssen wir uns ansehen, wie KI vor dem Transformer funktionierte. Die damaligen Platzhirsche waren die sogenannten „Rekurrenten Neuronalen Netze“ (RNNs) und deren etwas schlauere Cousins, die LSTMs (Long Short-Term Memory). Diese arbeiteten sequenziell. Stellen Sie sich vor, Sie lesen ein Buch durch einen Strohhalm. Sie sehen immer nur ein Wort. Um den Satz „Der Hund, den ich gestern, nachdem ich lange gesucht habe, im Park fand, bellte“ zu verstehen, müssen Sie sich am Ende des Satzes beim Wort „bellte“ noch daran erinnern, dass ganz am Anfang „Der Hund“ stand. Für alte KI-Modelle war das extrem schwer. Je länger der Satz, desto blasser wurde die Erinnerung an den Anfang.

Die Kernidee des Transformers war: Weg mit dem Strohhalm! Lass uns den ganzen Satz auf einmal betrachten. Anstatt die Wörter nacheinander abzuarbeiten, wirft der Transformer einen Blick auf alle Wörter gleichzeitig und entscheidet dann, welche Wörter für welche anderen Wörter wichtig sind. Das ist die „Aufmerksamkeit“. Wenn das Modell das Wort „bellte“ verarbeitet, schenkt es dem Wort „Hund“ maximale Aufmerksamkeit und ignoriert den „Park“ oder das „Gestern“, weil nur der Hund bellen kann. Diese parallele Verarbeitung war der Schlüssel, der das Tor zu einer neuen Dimension der Intelligenz aufstieß.

Ziele bzw. Forschungsfragen

Die acht Autoren, die damals bei Google Brain und Google Research arbeiteten, trieb vor allem ein pragmatisches Problem um: Geschwindigkeit und Effizienz.

Die bis dahin verwendeten RNNs hatten ein großes Manko: Sie waren langsam im Training. Da sie Wort für Wort nacheinander verarbeiten mussten, konnte man das Training nicht einfach beschleunigen, indem man mehr Grafikkarten (GPUs) auf das Problem warf. Der Computer musste warten, bis Wort 1 fertig war, bevor er Wort 2 ansehen konnte. Das ist wie in einer Warteschlange an der Kasse – es geht nicht schneller, nur weil der Supermarkt größer ist.

Die zentralen Forschungsfragen lauteten also:

  1. Können wir eine Architektur bauen, die vollständig auf die langsame, sequenzielle Verarbeitung verzichtet?
  2. Ist es möglich, komplexe sprachliche Zusammenhänge (wie Grammatik und Bedeutung) allein durch den Aufmerksamkeitsmechanismus zu lernen?
  3. Können wir ein Modell entwickeln, das massiv parallelisierbar ist, also die Rechenpower moderner Hardware voll ausnutzt, um viel größere Datenmengen in kürzerer Zeit zu lernen?

Das Ziel war also nicht weniger, als die Handbremse der KI-Entwicklung zu lösen.

Konzept

Das Konzept des Transformers ist genial, wenn auch auf den ersten Blick etwas einschüchternd. Lassen Sie uns die Technik entmystifizieren und in verdauliche Häppchen zerlegen. Der Transformer besteht aus zwei Hauptteilen: einem „Encoder“ (der den Text liest und verarbeitet) und einem „Decoder“ (der den Text generiert, z.B. bei einer Übersetzung). Aber das eigentliche Herzstück sind drei spezielle Mechanismen:

1. Self-Attention (Selbst-Aufmerksamkeit)

Das ist der Star der Show. Stellen Sie sich vor, jedes Wort in einem Satz ist eine Person auf einer Cocktailparty. Jede Person versucht herauszufinden, mit wem sie sich unterhalten sollte, um den Kontext des Abends zu verstehen.

Nehmen wir den Satz: „Die Bank war geschlossen, weil sie überflutet war.“

Wenn wir als Menschen das Wort „sie“ lesen, wissen wir sofort, dass die „Bank“ gemeint ist und nicht etwa eine Parkbank oder eine andere Person. Ein altes Computerprogramm wusste das nicht.

Der Self-Attention-Mechanismus erlaubt es dem Wort „sie“, sich im Satz umzuschauen. Es „fragt“ alle anderen Wörter: „Passt ihr zu mir?“ Das Wort „Bank“ ruft laut „Ja!“, das Wort „geschlossen“ ruft vielleicht leise „Vielleicht“, und andere Wörter bleiben still. Der Transformer berechnet für jedes Wort einen Beziehungswert zu jedem anderen Wort im Satz. So entsteht ein Netz aus Bedeutungszusammenhängen, noch bevor der Satz übersetzt oder weiterverarbeitet wird.

2. Multi-Head Attention (Mehrköpfige Aufmerksamkeit)

Warum nur einmal hinschauen, wenn man auch achtmal gleichzeitig hinschauen kann? Die Autoren dachten sich: Sprache ist komplex. Wörter haben grammatikalische Beziehungen, semantische Beziehungen (Bedeutung), emotionale Färbungen und so weiter.

Deshalb gaben sie dem Modell „mehrere Köpfe“. Ein „Kopf“ achtet vielleicht nur darauf, wer das Subjekt ist. Ein anderer Kopf achtet auf die Zeitform. Ein dritter Kopf schaut, welche Adjektive zu welchem Nomen gehören. Am Ende werden die Erkenntnisse aller Köpfe zusammengeführt. Das ist, als würden ein Grammatik-Professor, ein Dichter und ein Logiker gleichzeitig denselben Text lesen und ihre Notizen vergleichen. Das Ergebnis ist ein viel tieferes Verständnis des Textes.

3. Positional Encoding (Positions-Kodierung)

Hier gab es ein kleines Problem. Da der Transformer den ganzen Satz auf einmal „isst“ und nicht mehr Wort für Wort von links nach rechts liest, weiß er theoretisch nicht, ob „Hund beißt Mann“ oder „Mann beißt Hund“ gemeint ist. Für den Transformer ist das erstmal nur ein Sack voller Wörter.

Der Trick der Autoren war genial einfach: Sie fügten jedem Wort einen mathematischen Stempel hinzu, der seine Position im Satz markiert. Das ist wie bei einer Reisegruppe, bei der jeder ein Namensschild mit einer Nummer trägt. So weiß das Modell immer, wer wo steht, auch wenn alle gleichzeitig durch die Tür stürmen.

Argumente

Warum sollte man diesen Aufwand betreiben und die alten, bewährten Methoden über Bord werfen? Die Autoren lieferten in ihrem Papier schlagkräftige Argumente, die durch ihre Experimente (vor allem bei Übersetzungsaufgaben von Englisch nach Deutsch und Französisch) untermauert wurden.

Das stärkste Argument war die Parallelisierung. Da der Transformer nicht warten muss, bis das vorherige Wort verarbeitet ist, kann er alle Wörter gleichzeitig durch die Grafikkarte jagen. Das reduzierte die Trainingszeit von Wochen auf Tage (und später mit noch besserer Hardware auf Stunden). Zeit ist in der Forschung Geld und Fortschritt.

Ein weiteres Argument war die Lösung des Problems der „langen Abhängigkeiten“ (Long-Range Dependencies). Erinnern Sie sich an den Strohhalm-Vergleich? Alte Modelle vergaßen oft den Anfang eines langen Absatzes. Da beim Transformer dank Self-Attention jedes Wort direkten Zugriff auf jedes andere Wort hat – egal wie weit sie im Satz voneinander entfernt stehen – ist der Weg für Informationen immer gleich kurz. Das Wort an Position 1 kann dem Wort an Position 100 direkt „die Hand reichen“, ohne sich durch 98 andere Wörter quetschen zu müssen.

Zudem argumentierten die Autoren, dass das Modell interpretierbarer sei. Durch die Visualisierung der Aufmerksamkeit (welches Wort schaut auf welches?) konnten Forscher plötzlich sehen, was das Modell „denkt“. Man konnte sehen, dass das Modell bei dem Wort „making“ auch auf die Wörter „more“ und „difficult“ schaute, um den Ausdruck „making… more difficult“ als Einheit zu erfassen.

Bedeutung

Es ist kaum in Worte zu fassen, wie fundamental die Bedeutung dieses Papers ist. Man kann die KI-Geschichte in „Vor-Transformer“ und „Nach-Transformer“ einteilen. „Attention Is All You Need“ war der Dammbruch.

Vorher war die Verarbeitung natürlicher Sprache (NLP) ein mühsames Geschäft mit vielen spezialisierten Regeln und komplexen Architekturen für verschiedene Aufgaben. Der Transformer vereinheitlichte alles. Plötzlich hatte man eine Architektur, die fast alles konnte: Übersetzen, Zusammenfassen, Fragen beantworten, Dichten.

Die Bedeutung liegt auch in der Demokratisierung von großen Modellen. Weil die Architektur so effizient trainierbar war, konnten Forschungseinrichtungen und Firmen plötzlich Modelle mit riesigen Datenmengen füttern – dem gesamten Internet quasi. Das war vorher schlichtweg zu rechenintensiv. Der Transformer war der Motor, der das Big-Data-Benzin erst nutzbar machte.

Wirkung

Die unmittelbare Wirkung war ein neuer Rekord bei maschinellen Übersetzungen. Google Translate wurde über Nacht dramatisch besser. Aber das war nur das erste Beben. Die wirkliche Schockwelle kam kurz danach.

Forscher erkannten, dass man den Transformer nicht nur zum Übersetzen nutzen kann. Man konnte ihn nutzen, um ein generelles Verständnis von Sprache zu erlernen. Das führte zur Entwicklung von Modellen wie BERT (von Google) und GPT (von OpenAI).

GPT steht für „Generative Pre-trained Transformer“. Das „T“ in ChatGPT ist genau dieser Transformer, über den wir hier sprechen. Ohne die Arbeit von Vaswani und seinen Kollegen gäbe es heute kein ChatGPT. Jedes Mal, wenn Sie sich von einer KI eine E-Mail schreiben lassen, wenn Sie einen Code generieren lassen oder wenn Sie sich über einen KI-Chatbot ärgern oder freuen, nutzen Sie die Mechanismen, die in diesem Papier von 2017 beschrieben wurden.

Die Wirkung ging sogar über Sprache hinaus. Heute gibt es „Vision Transformer“, die Bilder analysieren, und Transformer, die Proteinstrukturen in der Biologie vorhersagen (AlphaFold). Die Architektur erwies sich als so universell, dass sie fast alle Bereiche der KI durchdrang.

Relevanz

Warum ist das heute, Jahre nach der Veröffentlichung, noch relevant? In der schnelllebigen Welt der KI sind sieben Jahre eigentlich ein Jahrhundert. Dennoch ist der Transformer immer noch der unangefochtene König.

Zwar wurden Details optimiert, Schichten hinzugefügt und Trainingsmethoden verfeinert, aber das Grundgerüst fast aller modernen „Large Language Models“ (LLMs) ist immer noch die Architektur aus dem Jahr 2017. Das ist in der Technologiebranche extrem selten. Normalerweise wird Technik nach zwei, drei Jahren komplett ersetzt. Der Transformer aber ist geblieben.

Die Relevanz zeigt sich in unserem Alltag: Die Autokorrektur auf Ihrem Handy, die Suchergebnisse bei Google, die automatischen Untertitel bei YouTube und die Assistenten wie Alexa oder Siri (die zunehmend auf diese Technik umgestellt werden) basieren auf den Prinzipien der Self-Attention. Wir leben in einer Welt, die vom Transformer geformt wird.

Kritik

Natürlich ist nicht alles Gold, was glänzt. Auch der Transformer und das Paper müssen sich Kritik gefallen lassen, vor allem aus der heutigen Rückschau.

Ein wesentlicher Kritikpunkt ist der Energiehunger. Die Architektur lädt dazu ein, immer größere Modelle zu bauen. Da Transformer so gut parallelisierbar sind, haben Firmen einfach immer mehr Daten und Rechenpower hineingesteckt. Das Training moderner Transformer-Modelle verbraucht so viel Strom wie eine Kleinstadt und hinterlässt einen beachtlichen CO2-Fußabdruck. Kritiker sagen, das Paper habe einen Trend zum „Größenwahn“ ausgelöst, statt effizientere, schlankere Intelligenz zu fördern.

Ein technischer Kritikpunkt ist die quadratische Komplexität der Aufmerksamkeit. Das klingt kompliziert, ist aber einfach: Wenn sich die Länge des Textes verdoppelt, vervierfacht sich der Rechenaufwand, weil ja jedes Wort auf jedes andere Wort achten muss. Das macht es schwierig, Transformer für extrem lange Texte (wie ganze Bücher) zu nutzen, ohne dass der Speicher explodiert. Hieran wird aktuell viel geforscht, aber das Basis-Modell hatte hier eine klare Schwäche.

Zudem wird oft kritisiert, dass Transformer zwar extrem gut darin sind, Sprache zu simulieren, aber nicht unbedingt, die Welt zu verstehen. Sie sind „stochastische Papageien“ (ein Begriff der Linguistin Emily Bender), die statistische Muster nachplappern, ohne echten Sinn für Wahrheit oder Logik. Das führt zu den bekannten „Halluzinationen“, bei denen die KI voller Selbstvertrauen völligen Unsinn erzählt. Diese Tendenz ist tief in der Art verwurzelt, wie Transformer Wahrscheinlichkeiten berechnen.

Fazit

Das Papier „Attention Is All You Need“ ist ohne Zweifel einer der wichtigsten wissenschaftlichen Beiträge des 21. Jahrhunderts. Vaswani und sein Team haben nicht nur eine technische Verbesserung vorgeschlagen; sie haben einen Paradigmenwechsel eingeleitet.

Sie haben uns gezeigt, dass wir Sprache nicht als eine Kette von Ereignissen betrachten müssen, sondern als ein Netz von Beziehungen. Sie haben die KI von den Fesseln der sequenziellen Verarbeitung befreit und ihr erlaubt, das „große Ganze“ auf einen Blick zu erfassen.

Der Transformer ist das Fundament, auf dem die heutige KI-Hype-Welle reitet. Er hat Maschinen von stotternden Kleinkindern zu eloquenten Gesprächspartnern (und manchmal geschwätzigen Besserwissern) gemacht. Auch wenn wir heute die Grenzen und Risiken dieser Technologie klarer sehen, bleibt die Genialität der ursprünglichen Idee unbestritten.

Ausblick

Wohin geht die Reise? Der Transformer ist nun der Standard, aber die Forschung schläft nicht. Aktuelle Arbeiten versuchen, die Schwächen des Transformers zu beheben. Man arbeitet an „linearen Attention-Mechanismen“, um auch ganze Romane in Sekundenbruchteilen verarbeiten zu können, ohne dass der Arbeitsspeicher schmilzt.

Ein riesiges Thema sind „multimodale Transformer“. Warum nur Text? Die Zukunft gehört Modellen, die Text, Bild, Video und Audio gleichzeitig verarbeiten – alles basierend auf derselben Attention-Idee. Ein Modell sieht ein Video, hört den Ton und liest den Untertitel und verknüpft alles über Self-Attention.

Vielleicht wird der Transformer eines Tages von einer noch effizienteren Architektur abgelöst, vielleicht einer, die mehr wie das menschliche Gehirn funktioniert und weniger Energie verbraucht. Aber bis dahin bleibt „Attention“ tatsächlich alles, was wir brauchen. Wir stehen erst am Anfang zu verstehen, was diese Modelle wirklich können – und was sie über unsere eigene Sprache und Intelligenz aussagen.

Literaturquellen

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention Is All You Need. Proceedings of the 31st Conference on Neural Information Processing Systems (NIPS 2017).

Hintergrundinformationen zu den Autoren

Es ist fast schon eine Legende in der KI-Welt: Die Liste der Autoren dieses Papers liest sich heute wie das „Who is Who“ der KI-Start-up-Szene. Interessanterweise gaben die Autoren im Paper an, dass die Reihenfolge ihrer Namen rein zufällig gewählt war („Equal Contribution“), was in der Wissenschaft selten ist und zeigt, was für eine echte Teamleistung dahintersteckte.

Zum Zeitpunkt der Veröffentlichung arbeiteten sie alle im Umfeld von Google (Google Brain, Google Research). Doch die Revolution, die sie starteten, führte dazu, dass sie fast alle Google verließen, um eigene Imperien zu gründen:

  • Ashish Vaswani und Niki Parmar gründeten Adept AI und später Essential AI.
  • Noam Shazeer, oft als einer der genialsten Köpfe bei Google bezeichnet, gründete Character.AI, eine Plattform, auf der man mit Persönlichkeiten chatten kann (und kehrte 2024 zu Google zurück).
  • Jakob Uszkoreit, der als derjenige gilt, der den Namen „Transformer“ vorgeschlagen hat, gründete Inceptive, ein Biotech-Unternehmen, das „biologische Software“ entwickelt.
  • Aidan Gomez gründete Cohere, einen der wichtigsten Konkurrenten von OpenAI im Bereich Enterprise-KI.
  • Illia Polosukhin gründete NEAR Protocol, eine Blockchain-Plattform.

Dass fast keiner der Urheber des wichtigsten Google-Papers mehr bei Google ist, gilt im Silicon Valley als eine der größten Ironien und als ein Beispiel dafür, wie schwer es für große Konzerne ist, top Talente zu halten, wenn diese gerade die Welt verändert haben. Sie sind die „Transformer Mafia“ – eine Gruppe von Visionären, die wussten, dass Aufmerksamkeit tatsächlich alles ist, was man braucht.

Disclaimer: Dieser Text ist komplett KI-generiert (Gemini 3.0 Thinking, 14.12.2025). Die darin enthaltenen Angaben wurden nicht überprüft. Zum Prompt. Zur Übersicht.