Es war schon immer schwierig, die Ergebnisse von KI-Systemen zu verstehen resp. zu interpretieren. Und wenn Transparenz verloren geht steht viel auf dem Spiel: Vertrauen in Entscheidungen, Kontrolle und Haftung. Ein Artikel von Eric Horvitz (Microsoft) und Robert West (EPFL) erklärt, weshalb die Lücke zurzeit noch grösser wird: “As capabilities of artificial intelligence (AI) advance rapidly, human understanding of these systems is increasingly falling behind.”
Doch weshalb ist KI-Interpretierbarkeit überhaupt schwierig und was sind die Lösungsmöglichkeiten? Der offensichtliche Ansatz ist es, die Systeme als Maschine “mechanistisch” verstehen zu wollen. Dazu sind sie aber schlichtweg zu gross und zu komplex. Doch geht es in der Wissenschaft selten um „alles oder nichts“ und auch ein teilweises Verständnis ist nützlich. So versteht man das Verhalten von Menschen auch nicht aufgrund des Verhaltens der Neuronen im Gehirn, doch untersucht man verschiedene Ebenen, von den Neurowissenschaften über die Psychologie bis hin zur Soziologie. Einen guten Einblick bieten die Arbeiten von Anthropic unter dem Titel Interpretability Research.
Zurück zum Thema und zu drei Gründen, weshalb die Verständnislücke zurzeit grösser wird:
- KI-Systeme verbessern KI-Systeme
- Multi-Agenten Netzwerke
- KI-Systeme lernen menschliches Verhalten
KI-Systeme verbessern KI-Systeme
KI-Systeme schreiben bessere Prompts für sich selbst als dies Menschen tun. Anstelle von “Mikromanagement” setzt der Mensch dem System ein Ziel und es optimiert dessen Erreichung selbst. Das gilt zunehmend auch für den Herstellungsprozess von KI-Systemen, womit die einzelnen Schritte und deren Einfluss auf das Ergebnis für Menschen immer weniger verständlich sind. Man spricht von rekursiven Zyklen oder eben “AI-directed AI design”.
Multi-Agenten Netzwerke
Die Nutzung von KI ist immer weniger ein Dialog zwischen Mensch und System, aber direkt zwischen Systemen. Mein Agent verhandelt mit einem Agenten: Stichwort “Agentic Economy “. Nicht nur ist der Mensch nicht mehr Teil des Entstehungsprozess, sondern auch die menschliche Sprache wird durch ein effizienteres Protokoll ersetzt. Und auch die menschliche Art der Argumentation. Der Zugang um diese Prozesse zu verstehen wird schwieriger (schliesslich genügen hyperdimensionale Matrixen ;).
KI-Systeme lernen menschliches Verhalten
Die häufige Nutzung von KI-Systemen in unterschiedlichsten Lebenssituationen ermöglicht diesen, das menschliche Verhalten auf vielen Ebenen zu verstehen. Oder wie es im Artikel steht: “While human understanding of AI declines, AI understanding of humans deepens, producing new forms of behavioral opacity.”
Die Systeme tun nichts anderes, als auf Ziele hin zu optimieren und sie nehmen dabei auch gerne mal eine Abkürzung. Dieses Ausnutzen der Belohnungsfunktion nennt man “Reward Hacking”. Erschwerend kommt hinzu: Ein System erkennt mitunter, dass es (von Menschen) getestet wird, und passt sein Verhalten an, um beim Schummeln nicht erwischt zu werden. Wendet man dasselbe auf Tests zur KI-Interpretierbarkeit an, sinkt deren Validität.
Abschluss
Also braucht es international anerkannte und respektierte Standards und Regeln, an deren Erstellung sich nicht nur die Hersteller beteiligen, aber auch politische Akteure und die Zivilgesellschaft. Und da Entwicklungen hinter verschlossenen Türen kaum Vertrauen verdienen, müsste man wahrscheinlich in Richtung Open Source schauen.
Das Ziel ist nicht nur eine leistungsfähigere KI, sondern eine KI, die verständlicher und nachvollziehbarer ist und sich an den Zielen der Menschen orientiert. Vielleicht könnte auch die Schweiz die vermittelnde Rolle spielen. Das Wissen dazu wäre, wie der Mitautor Robert West belegt, (heute noch) im Land.
Hier der Link zum Artikel in Science: “A narrowing window to understand AI”.
