Das japanische KI-Labor Sakana AI hat mit dem Sprachmodell Fugu etwas geliefert, was bis anhin fehlte: Ein eindrücklicher “KI-Koordinator”. Was ist das und was bringt das?
Welches Modell brauche ich?
In der Breite lag der Fokus auf dem leistungsfähigsten KI-Modell. Welches Modell gewinnt Gold an der Mathematik-Olympiade? Welches Modell kann 3D-Strukturen von Proteinen vorhersagen etc. Eindrücklich, doch ich brauche diese Funktionalität nicht. Was ich brauche ist ein Modell, welches für eine gegebene Aufgabe passt resp. “gut genug” ist. Lieber hoch spezialisiert und ressourcenschonend als umfassend und fett. Dazu gehören zwei Trends: Model Distillation und Model Orchestration/Routing.
Model Distillation
Google hat Model Distillation über Jahre perfektioniert. Sie leiten aus grossen Modellen kleine ab, um diese beispielsweise lokal auf meinem Mobiltelefon auszuführen. Das kleine Modell (der Student, oder eben das Destillat) kann vielleicht nur ein Sprachpaar übersetzen. Sobald ich mehr brauche, lade ich das nächste Modell.
Model Orchestration/Routing
Was jetzt noch fehlt ist die automatisierte Auswahl der Modelle in Abhängigkeit der Aufgabe und das Zusammenführen von Teilergebnissen zu einem Ganzen. Und hier kommt Fugu ins Spiel. Das folgende Bild zeigt das Prinzip. Fugu ist zweimal abgebildet, da es sich auch selbst aufrufen kann, was Test-Time-Scaling ermöglicht.
Richte ich meine Anfrage an “Sakana Fugu Ultra”-API, so analysiert das Model meine Aufgabe, zerlegt diese und leitet Teile davon an eine Gruppe spezialisierter Modelle weiter. Auf dem Rückweg führt es die Antworten wieder zusammen, so dass ich nur eine Schnittstelle nutzen muss. Im Marketing Lingo heisst das: A Multi-Agent System, Delivered as One Model.
Das Ergebnis ist noch nicht von unabhängiger Stelle bestätigt, doch nach eigenen Messungen von Sakana AI sind sie damit in den wichtigen Benchmarks ganz oben. Natürlich vergleichen die Äpfel mit Birnen, da sie auf andere Modelle angewiesen sind. Doch im Endergebnis liefern sie dennoch ein exzellentes Ergebnis, mutmasslich mit weniger Ressourceneinsatz.
Nicht ganz neu
Die Idee, dies zu tun, ist natürlich nicht neu. So gibt es auch einen Architekturansatz für Modelle, die verschiedene Spezialitäten in Teilnetzen beherbergen und diese in Abhängigkeit der Aufgabe gezielt nutzen: Mixture-of-Experts-Architektur.
Oder der Auto Router von OpenRouter, welches unter dem Titel “Smart AI Model Selection” aus verschiedenen Modellen automatisch wählt, jedoch ohne die Aufgabe zu zerlegen. Oder das Model Fusion Framework von OpenRouter, welches den Prompt parallel an ein Panel von Modellen schickt und ein Judge-Modell es dem aufrufenden Modell erlaubt, die finale Antwort auszuwählen.
Neu an Fugu ist, dass Sakana das komplexe Problem mit einem eigens dafür trainierten neuronalen Netz gelöst hat: Es zerlegt die Aufgabe selbst und schlägt nach eigenen Messungen die Einzelmodelle, die es koordiniert.
Und jetzt?
Der offensichtliche Nutzen ist, dass der Ansatz, das oder die geeigneten Modelle zu nutzen, an Bekanntheit gewinnen wird und sich damit Geld und Ressourcen sparen lassen: good enough anstelle von the best
Interessanter finde ich aber, dass ich damit an Unabhängigkeit gewinne, eine Absicherung gegen Single-Vendor-Abhängigkeit. Ich bin in der Lage, die zugrunde liegenden Modelle auszutauschen und der Koordinator hilft mir bei der Abstraktion. So kann ich auch versuchshalber ein paar Open-Source-Modelle einbinden und über Evals verfolgen, wie ich andere loswerden kann. Ein Schritt in Richtung Souveränität. Unabhängig von starken Modellen werde ich damit aber natürlich nicht.
