Einführung
Stellen Sie sich vor, Sie versuchen einem Freund eine Geschichte zu erzählen, aber er vergisst bereits nach wenigen Sätzen, wie die Erzählung begonnen hat. Frustrierend, nicht wahr? Genau dieses Problem plagten künstliche neuronale Netzwerke in den neunziger Jahren. Sie konnten zwar einfache Muster erkennen, doch sobald wichtige Informationen mehrere Zeitschritte auseinanderlagen, versagte ihr Gedächtnis vollständig. Hier setzt die bahnbrechende Arbeit von Sepp Hochreiter und Jürgen Schmidhuber aus dem Jahr 1997 an. Mit ihrer Erfindung Long Short-Term Memory, kurz LSTM, revolutionierten sie die Art und Weise, wie künstliche Intelligenz mit zeitlichen Abfolgen umgeht.
Die Entwicklung von LSTM markierte einen Wendepunkt in der Geschichte der rekurrenten neuronalen Netzwerke. Vor LSTM waren diese Systeme wie Menschen mit extremem Kurzzeitgedächtnis: Sie konnten sich zwar an die unmittelbare Vergangenheit erinnern, doch alles, was länger zurücklag, verschwand im Nebel der Vergessenheit. LSTM löste dieses fundamentale Problem und ebnete damit den Weg für zahlreiche Anwendungen, die heute aus unserem Alltag nicht mehr wegzudenken sind – von Sprachassistenten bis hin zu automatischen Übersetzungsprogrammen.
Kernidee
Die zentrale Idee hinter LSTM ist so elegant wie genial: Während herkömmliche neuronale Netzwerke Informationen wie durch ein löchriges Sieb verlieren, erschufen Hochreiter und Schmidhuber eine Art „Gedächtniszelle“ mit kontrolliertem Zugang. Man kann sich diese Zelle wie einen Banktresor vorstellen, der von intelligenten Türstehern bewacht wird. Diese Türsteher – in der Fachsprache „Gates“ genannt – entscheiden, wann Informationen gespeichert, wann sie behalten und wann sie wieder abgerufen werden dürfen.
Das Herzstück dieser Innovation ist der sogenannte Constant Error Carousel, auf Deutsch etwa „Karussell mit konstantem Fehler“. Dieser Name mag zunächst verwirrend klingen, beschreibt aber präzise die Funktionsweise: Fehlerinformationen, die beim Lernen entstehen, werden innerhalb der Gedächtniszelle auf einem konstanten Niveau gehalten. Sie explodieren nicht ins Unermessliche und verschwinden auch nicht einfach, wie es bei früheren Systemen der Fall war. Diese Konstanz ist der Schlüssel zum Erfolg.
Die Analogie zum menschlichen Gedächtnis ist durchaus beabsichtigt. Auch wir Menschen haben verschiedene Mechanismen, um wichtige Informationen festzuhalten und unwichtige zu vergessen. LSTM bildet diese Fähigkeit technisch nach, indem es dem Netzwerk erlaubt, aktiv zu entscheiden, welche Informationen relevant sind und über lange Zeiträume bewahrt werden sollten.
Ziele und Forschungsfragen
Hochreiter und Schmidhuber stellten sich einer der größten Herausforderungen in der damaligen Forschung zu neuronalen Netzen: Wie kann ein lernendes System Informationen über sehr lange Zeiträume hinweg speichern, ohne dass diese Information auf dem Weg verloren geht oder verfälscht wird? Die beiden Forscher hatten erkannt, dass bisherige Ansätze an einem fundamentalen mathematischen Problem scheiterten.
Dieses Problem nannte Hochreiter bereits 1991 in seiner Diplomarbeit das „Problem verschwindender und explodierender Gradienten“. Der Fachbegriff klingt kompliziert, beschreibt aber ein anschauliches Phänomen: Wenn ein Netzwerk lernen soll, muss es Fehler rückwärts durch die Zeit propagieren – ähnlich wie beim Rückspulen eines Films. Bei herkömmlichen Methoden wie dem Backpropagation Through Time wurde dieser Fehler mit jedem Zeitschritt entweder dramatisch kleiner oder dramatisch größer. Im ersten Fall verschwand die Lerninformation praktisch, im zweiten führte sie zu chaotischem, instabilem Lernen.
Die zentrale Forschungsfrage lautete daher: Wie lässt sich ein Netzwerk konstruieren, das Fehlerinformationen über hunderte oder gar tausende Zeitschritte konstant halten kann? Zusätzlich sollte das System praktikabel bleiben – es durfte weder unendlich viel Rechenzeit benötigen noch sollte es so komplex werden, dass niemand mehr verstand, wie es funktioniert. Die Forscher wollten eine Lösung, die sowohl theoretisch fundiert als auch praktisch anwendbar war.
Ein weiteres Ziel bestand darin, dass das System mit verrauschten, also gestörten Daten umgehen können sollte. Die reale Welt ist schließlich nicht perfekt organisiert. Zwischen zwei wichtigen Informationen können beliebig viele unwichtige oder störende Datenpunkte liegen. LSTM sollte lernen, das Wesentliche vom Unwesentlichen zu trennen und sich nicht von Ablenkungen beirren zu lassen.
Konzept
Das Konzept von LSTM basiert auf einer cleveren Architektur, die aus mehreren Komponenten besteht. Im Zentrum steht die bereits erwähnte Gedächtniszelle mit ihrer Selbstverbindung. Diese Selbstverbindung hat ein Gewicht von genau eins, was bedeutet, dass Informationen unverändert im Kreis fließen können. Stellen Sie sich vor, Sie flüstern sich selbst ständig dieselbe Information zu – so bleibt sie im Gedächtnis, ohne verfälscht zu werden.
Um diese Gedächtniszelle herum konstruierten die Forscher drei spezialisierte Tore. Das Eingangstor, auch Input Gate genannt, entscheidet, ob und wie stark neue Informationen in die Gedächtniszelle aufgenommen werden. Das Ausgangstor oder Output Gate kontrolliert, wann die gespeicherte Information an andere Teile des Netzwerks weitergegeben wird. Später entwickelten Forscher noch ein drittes Tor, das Vergessenstor oder Forget Gate, das gezielt alte Informationen löschen kann – dieses war in der Originalversion noch nicht enthalten.
Die Funktionsweise dieser Tore ist raffiniert: Sie multiplizieren die eingehenden oder ausgehenden Signale mit Werten zwischen null und eins. Eine Multiplikation mit null bedeutet „Tor geschlossen“ – keine Information kommt durch. Eine Multiplikation mit eins bedeutet „Tor offen“ – alle Informationen passieren ungehindert. Werte dazwischen erlauben eine dosierte Informationsweitergabe. Das Netzwerk lernt selbstständig, wann welches Tor wie weit geöffnet sein sollte.
Die mathematische Eleganz dieser Lösung liegt in ihrer Einfachheit. Durch die Verwendung von Multiplikationsoperationen umgehen die Forscher das Problem verschwindender Gradienten innerhalb der Gedächtniszelle. Der Gradient, also die Lerninformation, bleibt konstant, solange die Selbstverbindung aktiv ist. Gleichzeitig verhindert das gezielte Abschneiden von Fehlerflüssen außerhalb der Gedächtniszellen, dass sich Fehler unkontrolliert im gesamten Netzwerk ausbreiten.
Ein weiterer wichtiger Aspekt ist die Skalierbarkeit. LSTM-Netzwerke können mehrere Gedächtniszellen enthalten, die parallel arbeiten. Diese können in sogenannten Memory Cell Blocks gruppiert werden, wobei mehrere Zellen dieselben Tore teilen. Das spart Rechenaufwand und macht das System effizienter, ohne die Leistungsfähigkeit zu beeinträchtigen.
Argumente
Die Überzeugungskraft von LSTM liegt nicht nur in der theoretischen Eleganz, sondern vor allem in den empirischen Belegen. Hochreiter und Schmidhuber führten eine beeindruckende Serie von Experimenten durch, die die Überlegenheit ihres Ansatzes demonstrierten. Diese Experimente wurden sorgfältig ausgewählt, um verschiedene Aspekte der Langzeitabhängigkeiten zu testen.
Eines der eindrucksvollsten Ergebnisse betraf Aufgaben, bei denen relevante Informationen über tausend Zeitschritte voneinander getrennt waren. Während herkömmliche Methoden wie Backpropagation Through Time oder Real-Time Recurrent Learning bei Abständen von mehr als zehn Schritten versagten, meisterte LSTM problemlos Verzögerungen von über tausend Schritten. Das entspricht etwa dem Unterschied zwischen dem Merken eines Satzes und dem Behalten einer ganzen Buchseite.
Besonders beeindruckend war die Robustheit gegenüber störenden Informationen. Die Forscher testeten LSTM mit Aufgaben, bei denen zwischen zwei relevanten Signalen hunderte von Störsignalen lagen. Das System lernte dennoch zuverlässig, die wichtigen von den unwichtigen Informationen zu unterscheiden. Diese Fähigkeit ist entscheidend für praktische Anwendungen, wo Daten selten perfekt organisiert vorliegen.
Ein weiteres starkes Argument lieferten Vergleichsexperimente. LSTM wurde gegen etablierte Methoden wie Elman-Netzwerke, Recurrent Cascade-Correlation und verschiedene Varianten klassischer rekurrenter Netzwerke antreten gelassen. In nahezu allen Fällen lernte LSTM nicht nur erfolgreicher, sondern auch schneller. Selbst in Fällen, wo andere Methoden prinzipiell zum Erfolg kamen, benötigte LSTM deutlich weniger Trainingsbeispiele.
Die Forscher demonstrierten auch die Vielseitigkeit ihres Ansatzes. LSTM funktionierte mit lokalen Repräsentationen, bei denen jede Information einem einzelnen Neuron zugeordnet ist, ebenso gut wie mit verteilten Repräsentationen, wo Informationen über mehrere Neuronen verteilt sind. Es verarbeitete diskrete Symbole genauso zuverlässig wie kontinuierliche Werte. Diese Flexibilität unterschied LSTM von vielen spezialisierten Vorgängern.
Ein theoretisch wichtiges Argument war die Analysierbarkeit. Die Forscher konnten mathematisch nachweisen, warum LSTM funktioniert. Sie zeigten formal, dass der Fehlerfluss innerhalb der Gedächtniszellen tatsächlich konstant bleibt und leiteten präzise Formeln für die Lernalgorithmen ab. Diese theoretische Fundierung machte LSTM nicht zu einer bloßen Sammlung von Tricks, sondern zu einem wissenschaftlich fundierten Ansatz.
Bedeutung
Die Bedeutung von LSTM für die Entwicklung der künstlichen Intelligenz kann kaum überschätzt werden. Die Arbeit löste nicht nur ein spezifisches technisches Problem, sondern öffnete ein ganzes Forschungsfeld. Erstmals existierte ein praktikables Werkzeug, um mit zeitlichen Abhängigkeiten über beliebig lange Zeiträume umzugehen. Das war, als würde man einer ganzen Generation von Forschern plötzlich ein funktionierendes Teleskop in die Hand drücken – neue Horizonte wurden sichtbar.
Theoretisch war LSTM ein Durchbruch, weil es zeigte, dass das Problem verschwindender Gradienten nicht unlösbar ist. Die Lösung bestand nicht darin, immer bessere Trainingsalgorithmen zu entwickeln oder noch mehr Rechenleistung einzusetzen. Stattdessen war eine fundamentale Änderung der Netzwerkarchitektur nötig. Diese Erkenntnis beeinflusste das gesamte Feld des maschinellen Lernens und inspirierte zahlreiche Nachfolgearbeiten.
Methodisch etablierte die Arbeit neue Standards für die Evaluation von Lernalgorithmen. Hochreiter und Schmidhuber führten systematische Vergleiche mit klar definierten Benchmarks durch. Sie schufen künstliche Probleme mit präzise kontrollierbaren Eigenschaften, die es erlaubten, verschiedene Aspekte der Lernfähigkeit isoliert zu testen. Dieses Vorgehen wurde vorbildlich für die weitere Forschung.
Die Arbeit demonstrierte auch die Wichtigkeit interdisziplinärer Ansätze. Die Inspiration kam teilweise aus der Beobachtung biologischer Systeme, die Umsetzung erforderte jedoch tiefes mathematisches Verständnis, und die Validierung bedurfte umfangreicher experimenteller Arbeit. LSTM ist ein Paradebeispiel dafür, wie theoretische Einsicht und praktische Ingenieurskunst zusammenwirken müssen, um echte Durchbrüche zu erzielen.
Für die wissenschaftliche Gemeinschaft war LSTM ein Weckruf. Es zeigte, dass geduldige, grundlagenorientierte Forschung auch in einem Zeitalter zunehmender Spezialisierung und Kurzfristigkeit zum Erfolg führen kann. Die Arbeit basierte auf Hochreiters Diplomarbeit von 1991 und brauchte Jahre bis zur Veröffentlichung – ein Zeitraum, der heute vielen als zu lang erscheinen mag, aber offensichtlich nötig war, um die Ideen vollständig auszuarbeiten.
Wirkung
Die Wirkung von LSTM auf die Praxis der künstlichen Intelligenz war transformativ. In den Jahren nach der Veröffentlichung begannen Forscher weltweit, LSTM für ihre Probleme einzusetzen. Die Architektur erwies sich als erstaunlich vielseitig und fand Anwendung in Bereichen, die ursprünglich gar nicht im Fokus standen.
Ein Durchbruch gelang in der Spracherkennung. Lange Zeit galt es als nahezu unmöglich, gesprochene Sprache zuverlässig in Text umzuwandeln, weil die zeitlichen Abhängigkeiten zu komplex waren. LSTM-basierte Systeme verbesserten die Erkennungsraten dramatisch und machten Sprachassistenten wie Siri oder Alexa erst möglich. Heute nutzen praktisch alle modernen Spracherkennungssysteme Varianten von LSTM oder verwandte Architekturen.
In der maschinellen Übersetzung revolutionierte LSTM ebenfalls die Landschaft. Frühere Systeme übersetzten Wort für Wort oder Phrase für Phrase, was zu holprigen, oft unsinnigen Ergebnissen führte. LSTM erlaubte es, ganze Sätze als Einheit zu verarbeiten und deren Bedeutung zu erfassen, bevor eine Übersetzung generiert wurde. Die Qualität automatischer Übersetzungen verbesserte sich dadurch sprunghaft.
Auch in der Musikgenerierung und Videoanalyse fand LSTM Verwendung. Das System konnte lernen, musikalische Strukturen über längere Zeiträume zu erfassen und kohärente Melodien zu erzeugen. In Videos half es, Handlungen zu verstehen, die sich über mehrere Sekunden oder sogar Minuten erstreckten – eine Fähigkeit, die für autonomes Fahren und Videoüberwachung essentiell ist.
Die wissenschaftliche Wirkung zeigt sich an den Zitationszahlen. Die ursprüngliche Arbeit gehört zu den meistzitierten Veröffentlichungen im Bereich des maschinellen Lernens überhaupt. Tausende von Folgestudien haben die Grundidee aufgegriffen, variiert und erweitert. LSTM wurde zum Standardwerkzeug und zur Grundlage für zahlreiche Weiterentwicklungen.
Wirtschaftlich hatte LSTM enorme Auswirkungen. Unternehmen wie Google, Apple, Microsoft und Amazon bauten Milliarden-Dollar-Geschäfte auf Technologien auf, die auf LSTM basieren oder davon inspiriert wurden. Die Fähigkeit, Sequenzen intelligent zu verarbeiten, ist heute ein Wettbewerbsvorteil, der ganze Industrien prägt. Von der Finanzanalyse über die Medizintechnik bis hin zur Robotik – überall dort, wo zeitliche Muster eine Rolle spielen, findet sich der Einfluss von LSTM.
Relevanz
Die Relevanz von LSTM ist auch heute, mehr als zwei Jahrzehnte nach seiner Erfindung, ungebrochen. Obwohl neuere Architekturen wie Transformer-Netzwerke in manchen Bereichen LSTM verdrängt haben, bleiben die fundamentalen Prinzipien relevant. Das Konzept der Gedächtniszellen mit kontrolliertem Zugang hat sich als so mächtig erwiesen, dass es in verschiedenen Formen immer wieder auftaucht.
Für die aktuelle Forschung ist LSTM ein Referenzpunkt. Neue Architekturen werden oft danach beurteilt, ob sie LSTM in bestimmten Aufgaben übertreffen können. Die Arbeit von Hochreiter und Schmidhuber definierte Standards und setzte Maßstäbe, an denen sich nachfolgende Innovationen messen lassen müssen. Das ist die vielleicht größte Auszeichnung für eine wissenschaftliche Leistung: zum Benchmark zu werden.
In der Ausbildung spielt LSTM eine zentrale Rolle. Studierende der Informatik und verwandter Fächer lernen LSTM als klassisches Beispiel für gelungenes Systemdesign. Die Architektur illustriert, wie man durch clevere Strukturierung komplexe Probleme lösen kann, ohne auf komplizierte Algorithmen zurückgreifen zu müssen. LSTM ist Lehrbuchstoff geworden – ein Zeichen nachhaltiger wissenschaftlicher Relevanz.
Gesellschaftlich ist die Relevanz von LSTM kaum zu überschätzen. Technologien, die auf LSTM basieren, prägen unseren Alltag. Wenn wir mit unserem Smartphone sprechen, automatische Untertitel lesen oder eine fremde Sprache mithilfe einer App verstehen, profitieren wir indirekt von der Arbeit zweier deutscher Forscher aus den neunziger Jahren. Diese Technologien haben Kommunikationsbarrieren abgebaut und neue Formen der Interaktion zwischen Mensch und Maschine ermöglicht.
Für zukünftige Entwicklungen bleibt LSTM relevant, weil es fundamentale Wahrheiten über das Lernen aus Sequenzen offenbart. Die Erkenntnis, dass Information selektiv gespeichert und geschützt werden muss, ist universell. Auch biologische Systeme arbeiten nach ähnlichen Prinzipien. LSTM könnte daher nicht nur ein Meilenstein der Technikgeschichte sein, sondern auch ein Schritt zum Verständnis des Lernens an sich.
Kritik
Trotz aller Erfolge blieb LSTM nicht ohne Kritik. Ein häufig vorgebrachter Punkt betrifft die Komplexität der Architektur. Im Vergleich zu einfachen rekurrenten Netzwerken erfordert LSTM deutlich mehr Parameter – für jede Gedächtniszelle werden zwei zusätzliche Tore benötigt. Das bedeutet mehr Gewichte, die gelernt werden müssen, und längere Trainingszeiten. Für Anwendungen mit begrenzten Rechenressourcen kann das ein Problem sein.
Ein weiterer Kritikpunkt ist die mangelnde Interpretierbarkeit. Während die grundlegende Funktionsweise von LSTM verstanden ist, bleibt oft unklar, was ein trainiertes LSTM-Netzwerk tatsächlich gelernt hat. Welche Informationen werden in den Gedächtniszellen gespeichert? Warum öffnen und schließen sich die Tore zu bestimmten Zeitpunkten? Diese Fragen sind schwer zu beantworten, was LSTM zu einer Art Black Box macht. Für sicherheitskritische Anwendungen ist das problematisch.
Manche Forscher bemängelten auch spezifische Einschränkungen. So hat LSTM Schwierigkeiten mit Aufgaben, die eine präzise Zeitzählung erfordern. Wenn es darauf ankommt, ob ein Ereignis genau 99 oder 100 Zeitschritte zurückliegt, versagt LSTM oft. Das liegt daran, dass das System für kontinuierliche, analoge Repräsentationen optimiert ist, nicht für diskrete Zählvorgänge. Für solche Probleme sind spezialisierte Mechanismen nötig.
Kritik gab es auch an der ursprünglichen Evaluierung. Einige der verwendeten Benchmark-Probleme erwiesen sich als zu einfach – sie konnten teilweise sogar durch zufälliges Raten der Gewichte gelöst werden. Die Autoren erkannten das später selbst und entwickelten schwierigere Tests. Diese Selbstkritik spricht für die wissenschaftliche Integrität, zeigt aber auch, dass die ursprünglichen Experimente nicht perfekt waren.
Schließlich wurde argumentiert, dass LSTM zwar ein Durchbruch war, aber konzeptionelle Schwächen aufweist. Die Architektur wirkt manchmal wie eine Sammlung von Tricks, nicht wie eine fundamentale Lösung. Neuere Ansätze wie Transformer-Netzwerke mit Attention-Mechanismen erscheinen manchen Forschern eleganter und prinzipieller. Ob diese Kritik berechtigt ist, wird die Zeit zeigen – immerhin hat LSTM über zwei Jahrzehnte überdauert.
Fazit
LSTM steht als Monument in der Geschichte der künstlichen Intelligenz. Die Arbeit von Hochreiter und Schmidhuber demonstriert, wie theoretische Einsicht, technische Innovation und experimentelle Validierung zusammenkommen müssen, um ein schwieriges Problem zu lösen. Sie schufen nicht nur ein funktionierendes System, sondern veränderten die Art und Weise, wie die Fachwelt über neuronale Netzwerke und zeitliches Lernen nachdenkt.
Der Erfolg von LSTM beruhte auf mehreren Faktoren. Erstens wurde das Problem präzise analysiert – Hochreiter hatte bereits 1991 mathematisch untersucht, warum bisherige Ansätze scheiterten. Zweitens war die Lösung kreativ und unkonventionell. Statt bestehende Methoden zu optimieren, erfanden die Forscher eine neue Architektur. Drittens wurde die Arbeit gründlich validiert. Die umfangreichen Experimente zeigten nicht nur, dass LSTM funktioniert, sondern auch unter welchen Bedingungen und warum.
Retrospektiv erscheint LSTM als logischer Schritt in einer Entwicklungslinie. Nach dem Durchbruch der Backpropagation in den achtziger Jahren und der Entwicklung rekurrenter Netzwerke lag es nahe, beide Ansätze zu kombinieren. Doch wie so oft in der Wissenschaft war der Weg vom Naheliegenden zum Funktionierenden lang und steinig. Dass Hochreiter und Schmidhuber diesen Weg erfolgreich beschritten, ist ihr bleibendes Verdienst.
LSTM lehrt uns auch eine wichtige Lektion über Innovation: Manchmal muss man einen Schritt zurückgehen, um vorwärtszukommen. Die Lösung bestand nicht darin, bestehende Netzwerke komplexer zu machen oder mehr Rechenkraft einzusetzen. Stattdessen musste die Architektur fundamental überarbeitet werden. Das erforderte Mut und die Bereitschaft, etablierte Denkweisen zu hinterfragen.
Ausblick
Die Geschichte von LSTM ist noch nicht zu Ende geschrieben. Obwohl neuere Architekturen wie Transformer in manchen Bereichen dominieren, bleibt LSTM relevant. Für viele praktische Anwendungen, insbesondere solche mit begrenzten Rechenressourcen oder sequentiellen Echtzeitdaten, ist LSTM oft noch die beste Wahl. Die Effizienz und Robustheit der Architektur sichern ihr einen Platz im Werkzeugkasten der KI-Entwickler.
Zukünftige Forschung könnte LSTM mit neueren Konzepten kombinieren. Hybride Architekturen, die LSTM-Zellen mit Attention-Mechanismen oder Transformer-Bausteinen verbinden, zeigen vielversprechende Ergebnisse. Solche Ansätze versuchen, die Stärken verschiedener Paradigmen zu vereinen – das Langzeitgedächtnis von LSTM mit der Flexibilität moderner Architekturen.
Ein spannendes Feld ist die Neuromorphe Informatik. Hier versucht man, neuronale Netzwerke auf spezialisierter Hardware zu implementieren, die dem Gehirn ähnlicher ist als herkömmliche Computer. LSTM-Architekturen könnten in solchen Systemen besonders effizient sein, weil ihre Struktur – mit Gedächtniszellen und Gates – sich gut auf biologisch inspirierte Hardware abbilden lässt.
Auch in der Grundlagenforschung bleibt LSTM interessant. Neurowissenschaftler untersuchen, ob das Gehirn ähnliche Mechanismen nutzt. Tatsächlich gibt es Hinweise darauf, dass bestimmte Hirnregionen eine Art Gate-Funktion ausüben, die kontrolliert, welche Informationen ins Langzeitgedächtnis übernommen werden. LSTM könnte somit nicht nur technisch nützlich, sondern auch biologisch relevant sein.
Die größte offene Frage ist vielleicht: Was kommt nach LSTM? Wird es eine Architektur geben, die dessen Prinzipien so fundamental übertrifft wie LSTM selbst seine Vorgänger übertraf? Oder haben wir mit LSTM und seinen modernen Verwandten bereits eine Art Optimalität erreicht? Die Antwort darauf wird die nächste Generation von Forschern geben müssen. Sicher ist nur: Der Weg zu dieser Antwort wird spannend.
Literaturquellen
Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation, 9(8), 1735–1780.
Hochreiter, S. (1991). Untersuchungen zu dynamischen neuronalen Netzen. Diplomarbeit, Technische Universität München.
Hintergrundinformationen zu den Autoren
Sepp Hochreiter promovierte an der Technischen Universität München und ist heute Professor an der Johannes Kepler Universität Linz in Österreich. Seine Arbeit konzentriert sich auf maschinelles Lernen und dessen Anwendungen in der Bioinformatik. Die Analyse verschwindender Gradienten in seiner Diplomarbeit von 1991 legte den Grundstein für LSTM.
Jürgen Schmidhuber leitet das Schweizer Forschungsinstitut IDSIA und ist Professor an der Universität Lugano. Er gilt als einer der einflussreichsten Forscher im Bereich der künstlichen Intelligenz und hat zahlreiche Beiträge zu rekurrenten neuronalen Netzwerken, Reinforcement Learning und Meta-Learning geleistet. Seine Vision ist es, künstliche Intelligenz zu schaffen, die sich selbst verbessern und weiterentwickeln kann. Die Zusammenarbeit zwischen Hochreiter und Schmidhuber bei der Entwicklung von LSTM Mitte der neunziger Jahre erwies sich als außerordentlich fruchtbar und führte zu einem der meistzitierten Paper in der Geschichte des maschinellen Lernens.
Disclaimer: Dieser Text ist komplett KI-generiert (Claude Sonnet 4.5, 09.01.2026). Die darin enthaltenen Angaben wurden nicht überprüft. Zum Prompt. Zur Übersicht.