05.07.2024
D:ECONOMY - Steht in der KI der nächste Durchbruch bevor, Sepp Hochreiter?
Sepp Hochreiter hat in seiner Diplomarbeit zu Beginn der neunziger Jahre eine kleine KI-Revolution erdacht. Sein Lernalgorithmus verbarg sich hinter dem Kürzel LSTM, das steht für Long-Short-Term-Memory. Er verlieh der KI so etwas wie ein brauchbares Gedächtnis - Computer können seither besser mit Sequenzen umgehen. Als er die Idee zusammen mit Jürgen Schmidhuber verbreitete und weiterentwickelte, erkannten zunächst nicht einmal Fachleute, welche Macht sie besaß.
Letztendlich hob LSTM die Sprachverarbeitung auf eine neue Stufe. Von Google bis Microsoft verwendete jeder Tech-Konzern sie, bis zum Jahr 2017 steckte sie sozusagen in jedem Smartphone. Dann veröffentlichten Fachleute von Google einen Aufsatz und stellten darin die Grundlage für jene großen Sprachemodelle vor, die heute so erfolgreich sind und die durch ChatGPT berühmt und ein Massenphänomen wurden.
Doch auch diese KI-Systeme haben Grenzen, scheitern an Aufgaben, die für das Gehirn leicht sind. Nun kommt Hochreiter, der inzwischen im österreichischen Linz lehrt und forscht, seinerseits mit der nächsten womöglich bahnbrechenden Idee um die Ecke: Er stellte unlängst vor, wie er LSTM weiterentwickelt hat - unter dem Kürzel xLSTM, das steht für Extended Long-Short-Term-Memory. Die bisherigen Schwächen will er reduziert und zugleich die Vorteile gegenüber den gegenwärtig angesagten Transformer-Modellen verbessert haben.
Wie funktioniert das? Was steckt dahinter? Wie weit ist sein Unternehmen NXAI? Über all das sprechen wir in dieser Episode.
