Die nächste KI-Generation : Kompakt, hybrid und autonom

In den vergangenen Monaten kam eine neue Innovationswelle der KI ins Rollen, die statt gigantisch großer Sprachmodelle (LLMs) auf mehrere kleine Sprachmodelle (SLMs) setzt. Dabei werden numerische Methoden aus dem Bereich der neuronalen Modelle mit symbolischen Methoden in hybriden Architekturen kombiniert. Der industrielle Transfer wird dadurch erleichtert, dass auch virtuelle und physische Aktionen autonom geplant und ausgeführt werden können. Der Energieaufwand für das Training und die Nutzung von SLMs wird gegenüber LLMs um mehrere Größenordnungen gesenkt – in spezifischen Anwendungen oft ohne Performanzverlust.

Von der generativen zur agentischen KI

Aktuell werden aufgrund ihrer Zielsetzung drei Arten von KI unterschieden: generative, analytische und agentische KI, wobei letztere den neuesten und umfassendsten Trend darstellt:

„Generative KI“ versucht, auf Basis einer groben, natürlichsprachlichen Spezifikation Dialogbeiträge, Texte, Bilder, Videos, Programmcode und multimodale Dokumente zu erzeugen. Die erzeugten Ausgaben können dabei an verschiedene Kontexte, Situationen und Stilarten adaptiert werden. Die generative KI hat den derzeitigen KI-Hype ausgelöst, da sie insbesondere KI-Laien durch den „Wow-Effekt“ der erzeugten Bilder oder der generierten Antworttexte zunächst schnell begeistert. Bei genauerer Betrachtung werden jedoch die Einschränkungen und Fehler deutlich, was zu einer differenzierteren Einschätzung führt.

„Analytische KI“ versucht den Inhalt und die Intention von Texten, Dialogbeiträgen, Bildern und Programmen zu erschließen, um Zusammenhänge zu erkennen, Strategien zu entwickeln und Prozesse zu optimieren. Viele Fehlleistungen rein generativer KI-Systeme können durch die semantische Analyse einer geplanten Ausgabe verhindert werden, weil deutlich wird, dass der geplante Effekt nicht eintreten wird, sondern beispielsweise ein Missverständnis oder eine Mehrdeutigkeit entstehen kann.

„Agentische KI“ versucht, eine Aufgabenspezifikation zielorientiert und kontextabhängig in einen Aktionsplan zu transformieren und diesen dann selbst autonom auszuführen. Durch die Delegierung von Teilaufgaben und Verantwortlichkeiten an andere Agenten im Sinne eines Multiagentensystems kann die Zielerreichung dann proaktiv über einen längeren Zeitraum abgesichert werden. Agentische KI löst Problemstellungen in drei Phasen: situatives Wahrnehmen, zielorientiertes Planen und autonomes Handeln.

Hybrid ist Trumpf: Das ewige Pendel der KI-Methoden

Die wissenschaftliche Entwicklung der KI der letzten fünfzig Jahre folgt einer Pendelbewegung zwischen zwei Extremen: den rein symbolischen und den rein numerischen Ansätzen. Die mathematischen Grundlagen der symbolischen Verfahren sind die Logik und die Algebra. Dagegen sind die Stochastik und die Analysis grundlegend für die numerischen Verfahren. Einige Beispiele für symbolische KI-Methoden sind semantische Wissensgraphen, Produktionsregelsysteme, Constraint- und SAT-Löser und die induktive Logikprogrammierung. Wichtige Beispiele für numerische Methoden sind neuronale Netze, Bayessche Netze, Stützvektormaschinen (SVMs), tiefe Konvolutionsnetze (CNNs) und Transformer.

Es gab mehrfach Phasen, in denen die symbolischen Verfahren die Forschung dominierten und danach die numerischen Verfahren im Fokus der Forschung standen. Nach einer Hype-Phase für ein Lager wurden aber die meist von wenigen „KI-Propheten“ geschürten, überzogenen Erwartungshaltungen der Industrie und der staatlichen Wissenschaftsförderung jedoch enttäuscht, so dass das Pendel wieder in die andere Richtung schwang.

Heute ist man sich in der Spitzenforschung weitestgehend einig, dass die besten KI-Lösungen oft hybride Methodenkombinationen wie die neuro-symbolischen Ansätze sind.

So verwendet beispielsweise Google in seinem Gemini-System neuronale Netze zusammen mit Wissensgraphen. Derzeit schwingt das Pendel wieder etwas mehr in Richtung der hybriden Methoden mit symbolischem Anteil, da sich dort die für industrielle Anwendungen besonders wichtigen Fragen der Erklärbarkeit und der Vertrauenswürdigkeit der KI-Ergebnisse besser beantworten lassen.

Klein aber fein: Kleine anstatt großer Sprachmodelle

Wenn klassische Suchmaschinen durch Antwortmaschinen abgelöst werden sollen, sind die bekannten großen Sprachmodelle wegen ihrer offenen und universellen Abdeckung aller relevanten Wissensdomänen nach wie vor die beste Wahl, solange sie für den Endanwender frei verfügbar bleiben, die Vertrauenswürdigkeit und Erklärbarkeit der Antworten weiter verbessert und die Souveränität der Nutzer gewährleistet bleibt.

Inzwischen ist jedoch klar, dass kleine Sprachmodelle (SLMs) meist schneller sind, geringere Kosten verursachen, weniger Strom verbrauchen und besser administriert werden können als LLMs. Aufgrund der Fokussierung auf einen Bereich sind SLMs weniger anfällig für „Halluzinationen“, also frei „erfundenen“ inkorrekten Ausgaben, und die Erzeugung von hochgradig mehrdeutigen Antworten. Das liegt bei LLMs vor allem an der hohen Perplexität aufgrund der Unsicherheit über Sachverhalte, die ähnliche Themen aus sehr unterschiedlichen Domänen betreffen.

Das Tiny Recursive Model (TRM) ist ein neues ultrakompaktes KI-System. Mit nur sieben Millionen Parametern übertrifft TRM bei Benchmarks für allgemeine Intelligenz viele LLMs, obwohl es weniger als 0,01 Prozent ihrer Parameter hat. TRM konzentriert sich nach dem Motto „klein aber fein“ auf architektonische Innovation, indem es seine Schlussfolgerungen rekursiv in zahlreichen Rückkopplungsschleifen iterativ verfeinert, anstatt auf riesige Datenmengen und Rechenleistung zu setzen.

Die Verfeinerung der High-Tech-Agenda als Basis

Auf der Grundlage der High-Tech-Agenda des Bundesministeriums für Forschung, Technologie und Raumfahrt (BMFTR), die KI als eine Schlüsseltechnologie priorisiert, wird es jetzt im nächsten Jahr darauf ankommen, die konkreten Maßnahmen und die Forschungs-Roadmap industrieller KI-Modelle der nächsten Generation für kompakte, hybride und autonom agierende Lösungsansätze zu verfeinern.

Dabei ist zu berücksichtigen, dass SLMs mit kompakteren und hochwertig annotierten Daten zumindest für industrielle KI einen Vorteil haben. Ansätze wie TRM stellen die Kernannahme infrage, die das heutige Wettrüsten im Bereich der KI antreibt, nämlich, dass größer immer besser ist und man daher mehr Spezialhardware braucht.

Außerdem sollten die Systeme nicht nur auf Texten trainiert werden, sondern auch auf Tabellen, Messreihen, Aktionsfolgen und Prozessmodellen. Diese sind nämlich bei großen deutschen KI-Anwendern wie SAP, Siemens, Telekom und der Schwarz-Gruppe sowie den meisten Mittelständlern und Start-ups die wichtigsten Datenquellen.

Im Rahmen der High-Tech-Agenda werden in der AI-Grid-Initiative über 300 KI-Talente durch Mentoring und internationale Vernetzung rund um ihr Promotionsthema gefördert. Mit tiefen und zudem breiten KI-Kenntnissen sowie zusätzlichem Fachwissen in mindestens einer Transferdomäne werden menschzentrierte Durchbruchinnovationen dieser AI-Grid-Talente ermöglicht. Ich bin optimistisch, dass wir so den Sprung vor die nächste KI-Innovationswelle als Motor für neues Wirtschaftswachstum schaffen werden.

Prof. em. Wolfgang Wahlster ist Vorsitzender AI-Grid-Präsidiums, CEA des DFKI und Mitglied des Lenkungskreises der Plattform Lernende Systeme des BMFTR. Er hat seit 1982 als jüngster Professor für KI, Gründungsdirektor des Deutschen Forschungszentrums für Künstliche Intelligenz (DFKI) und einer der drei Vorreiter im Bereich Industrie 4.0 die KI in Deutschland geprägt. Für sein Lebenswerk erhielt er 2025 die Konrad-Zuse-Medaille und die Rudolf-Diesel-Medaille.