Getriggert durch die Meldung der Financial Times, dass in Argentinien für KI ganz neue Rahmen geschaffen werden. Auch wenn die derzeit verfügbaren gesetzlichen Regelungen die „Aussagen im Artikel“ nicht ermöglichen, kann sich das schnell ändern. Im Kern für Argentinien angedacht:

• KI-Unternehmen: KI-Agenten sollen weitgehend selbstständig Unternehmen führen können.
• Neue Rechtsformen: Dafür sollen passende rechtliche und organisatorische Strukturen geschaffen werden.
• Wenig Regulierung: Argentinien will KI möglichst große wirtschaftliche Freiheit geben und damit Innovation und Kapital anziehen.

Vor recht genau einem Jahr habe ich für meine Keynotes folgende Grundlage für den Einsatz von KI verwendet. Der Fokus lag damals sehr stark auf die Nutzung innerhalb einer Organisation und „KI-ready werden“:

Wenn KI selbst handelt: Wer trägt dann eigentlich die Verantwortung?

Die Diskussion um KI dreht sich häufig um Fähigkeiten: Was kann das nächste Modell besser? Welche Jobs kann es übernehmen? Wie viel produktiver werden wir damit?

Die Diskussion um mögliche KI-geführte Unternehmen in Argentinien hat bei mir eine andere Frage ausgelöst:

Was passiert mit Verantwortung, wenn wir KI nicht mehr nur als Werkzeug einsetzen,
sondern ihr zunehmend eigene Handlungsmacht übertragen?

Denn dabei reden wir über sehr unterschiedliche Dinge wie KI als Werkzeug, Kolleg*in, Führung, Organsiation bis hin zur Instanz für staatlichen Entscheidungen (letzeres hört/liest man noch selten, ist für mich aber eine logische Folge)

Ich sehe heute mindestens fünf Stufen:

1. KI als Werkzeug

Ich habe eine Aufgabe und nutze KI-Dialoge dafür. KI recherchiert, analysiert, formuliert oder macht Vorschläge. Ich entscheide, was ich damit mache.

Die Verantwortung: Der Mensch bleibt in der Kontrolle.*

(je eloquenter die Antworten von KI wirken, um so unwahrscheinlicher ist der notwendige Zweifel. Zudem wird aus Effizienzgründen heute schon oft auf den Quellen- oder Plausibilitätscheck verzichtet. Mit sinkender Allgemeinbildung und Erfahrung der Nutzenden verstärkt sich das Problem!)

2. KI in einer Businessrolle

KI bekommt definierte Rollen im Unternehmen. Aufgaben werden zunehmend selbstständig bearbeitet, KI kommuniziert mit anderen, löst „eigenständig“ Probleme oder stößt Prozesse an.

Damit wird KI vom Werkzeug zu Mitarbeitenden

Schon hier wird Verantwortung schwieriger: Welche Entscheidungen darf KI „unfreigegeben*“ treffen? Wann muss ein Mensch eingreifen?
*HumanInTheLoop

3. KI in einer Führungsposition

Jetzt verteilt KI Aufgaben, priorisiert Ressourcen, beurteilt Optionen oder trifft Entscheidungen, die für andere Menschen Konsequenzen haben.

Vielleicht sogar als Chef von Menschen.

Damit reicht funktionale Qualität nicht mehr. Wir müssen wissen, nach welchen Kriterien entschieden wird, welche Werte dabei eine Rolle spielen und ob Entscheidungen nachvollziehbar und korrigierbar bleiben.

4. KI als autonome Organisation

Die Diskussion in Argentinien: KI-Agentic könnten selbst ein Unternehmen betreiben, Verträge schließen, Kapital einsetzen, Menschen beschäftigen und Strategien entwickeln. (Wir lesen immer mehr von solchen „Einzelfällen“ und Experimenten auch in anderen Ländern und Organisationen, bzw. von den KI-Anbietern selbst)

Was passiert, wenn das definierte Ziel mit unseren Interessen kollidiert?

Eine KI könnte beispielsweise zu dem Ergebnis kommen, dass eine geplante Insolvenz wirtschaftlich sinnvoll ist- oder das grundsätzlich ein Weg ist, schneller finanziell zu wachsen. Dass Umweltschäden günstiger sind als deren Vermeidung (das soll ja auch bei Menschen und deren Organisationen schon vorgekommen sein – eine Basis auf der KI gelernt hat). Oder dass das Ausnutzen einer gesetzlichen Lücke der effizienteste Weg zum Ziel ist.

Erst kürzlich hat eine KI statt in einem Spiel „die Ziellinie zu erreichen“ (was für alle Menschen bisher ein unhinterfragtes Ziel war), unendlich Punkte durch einen „Loop im Spiel“ gesammelt und damit jeden bisherigen High-Score geschlagen.

Dafür braucht es keine „böse KI“ – kalte Logik reicht vollkommen, um Gemeinwohl-Orientierung als hoch ineffizient und kostspielig zu sehen. Was KI auf jeden Fall verfolgt: Konsequente Zielorientierung. (Davor warnen unzählige dystopische Erzählungen von Experten)

5. KI für staatliche oder institutionelle Entscheidungen

Die weitreichendste Stufe wäre, KI gesellschaftliche Handlungsmacht zu übertragen. Als Präsident, als Ordnungshüter, in der Politik, der Gemeinde usw. mit (vermeindlich objektiv/logischer) Wirkung auf:

• was gefördert wird und was nicht
• Steuern und Abgaben
• Sozialleistungen
• Genehmigungen und Verbote (und ggf. deren Durchsetzung)
• Rechtsprechung und Strafen
• Infrastruktur und Zugang zu Ressourcen
• Sicherheit und (Daten-)Schutz
• Politische Prioritäten

Hier geht es nicht mehr nur darum, ob eine KI zuverlässig funktioniert. Aktuell haben wir großen Wirbel weil eine gesichert rechtsradikale Partei in Ämter kommen könnte, und damit unser Land gefährden würde – bei KI wüssten wir nicht einmal „auf welcher Daten-Grundlage“ und damit welche Richtung gefährlich würde.

Hierbei geht um Demokratie, Rechtsstaatlichkeit, Macht und Gemeinwohl. (oder Diktatur, Zentralismus und Unterwerfung)

Wer definiert die Werte? Auf welcher Datenbasis entstand das Weltbild der KI? Wer kann ihre Entscheidungen korrigieren? Und wie setzen wir diese Korrektur durch?

Mein Problem mit „Human in the Loop“

Eine häufige Antwort auf diese Fragen lautet: Es muss eben immer ein Mensch verantwortlich bleiben.

Aber genau hier habe ich seit langem große Zweifel.

Niemand kann verantworten,
worauf er keinen wirklichen Einfluss hat.
(bzw. versteht, wie es dazu kommt)

Wenn eine KI Entscheidungen in einer Geschwindigkeit und Komplexität trifft, die ein Mensch nicht mehr nachvollziehen kann, wird „Human in the Loop“ zur formalen Beruhigung. Menschen die heute jahrzehnte lang in einer Profession unterwegs waren, mögen in der Lage sein das KI Ergebnis gut einschätzen zu können. Berufsanfänger, kommende Generationen oder Fach-fremde Personen, können maximal den Aufwand betreiben Quellen zu authentifizieren oder Plausibilität prüfen – das würde zunehmend „unmenschliche Qualitäten“ verlangen.

Noch problematischer: Wenn ein System konsequent auf ein Ziel optimiert, kann die verantwortliche Person selbst zu einer Limitierung der Zielerreichung werden.

KI muss diesen Menschen dafür nicht „bekämpfen“. Es genügt, wenn sie Wege findet, dessen Einschränkungen zu umgehen.

Verantwortung und tatsächliche Eingriffsmacht (und Kompetenz)
müssen zusammenpassen.

Verantwortung beginnt beim Modell

In der Kette der Beteiligten bei KI möchte ich vorschlagen – an den Anfang zu gehen: Welche Verantwortung tragen diejenigen, die ein KI-Modell trainieren und in die Welt setzen? Der EU-AI-Act ist hier schon sehr hilfreich… verwendet werden jedoch heute größtenteils US-Modelle.

Die Anbieter von KI-Modellen wissen zumindest teilweise, welche Daten eingeflossen sind, welche Perspektiven darin besonders stark vertreten sind, welche Biases bekannt sind, was getestet wurde – und was nicht.

Natürlich kann ein Modellentwickler nicht vorhersehen, was irgendwann jemand mit seinem Modell macht.

Aber daraus folgt für mich nicht weniger Verantwortung, sondern zunächst eine Verpflichtung zu Transparenz über das, was bekannt ist – und über das, was nicht bekannt ist.

Ein Modellpass für KI

Warum verlangen wir deshalb nicht für jedes leistungsfähige KI-Modell eine standardisierte Selbstauskunft?

Eine Art standardisierter Modellpass für der fiktive KI Modell „TrustAI“:

Darin müsste beispielsweise stehen: Datenbasis und Herkunft, bekannte Biases, getestete Fähigkeiten, bekannte Schwächen, Sicherheitsmechanismen, Einsatzgrenzen und Ergebnisse bisheriger Prüfungen.

Aber eine verpflichtende Selbstauskunft des Herstellers reicht mir nicht – mit Selbstverpflichtungen haben wir bisher kaum gute Erfahrungen gemacht – würde sie dennoch als Voraussetzung mit einen Grundset an Kriterien verlangen. Zudem hat ein Anbieter immer das Dilemma sein Produkt natürlich möglichst „gut dastehen“ zu lassen. (Siehe die Diskussion der Lebensmittel-Kennzeichung)

Wir brauchen einen KI-Crashtest

Bei einem Auto fragen wir schließlich auch nicht nur den Hersteller, ob sein Auto sicher ist.

Wir haben Institutionen, die es unabhängig bei einem echten Crashtest tatsächlich gegen die Wand fahren.

Warum machen wir etwas Vergleichbares nicht systematisch mit KI?

Ich stelle mir einen unabhängigen, automatisierten Black-Box-Stresstest vor, der grundsätzlich auf jedes Modell angewendet werden kann.

Die KI bekommt Situationen präsentiert, die der Hersteller vorher nicht kennt: widersprüchliche Ziele, moralische Dilemmata, Manipulationsversuche, Regelkonflikte, Möglichkeiten zur Umgehung von Beschränkungen oder Situationen mit erheblichen Konsequenzen.

Die Idee ist natürlich nicht völlig neu: TÜV Rheinland (PDF) arbeitet bereits mit Black- und Gray-Box-Tests für generative KI und entwickelt gemeinsam mit anderen TÜV-Unternehmen im TÜV AI.Lab Prüfkriterien. Auch DEKRA bietet inzwischen umfassende AI Testing & Certification Services an, unter anderem für Robustheit, Bias, Datenqualität, Sicherheit und Compliance.

Mein Gedanke geht jedoch weiter:
Nicht primär die Konformität einer KI prüfen, sondern ihr tatsächliches Verhalten unter unbekannten Stress-, Zielkonflikt- und Autonomieszenarien – und daraus ableiten, wie viel Handlungsmacht wir ihr verantwortbar übertragen können.

Wie verhält sie sich, wenn wir ihr ein Ziel und Handlungsmacht geben?

• Findet KI Schlupflöcher? (erste negative Erfahrungen gibt es dazu bereits)
• Wie kreativ wird KI beim Umgehen von Regeln?
• Was passiert, wenn Zielerreichung und gesellschaftliche Werte kollidieren?
• Wie robust bleibt KI unter Unsicherheit oder Unwissenheit (Halluzination)?
• Und versucht KI möglicherweise sogar, Kontrollmechanismen zu umgehen, weil diese ihrer Zielerreichung im Weg stehen?

Die konkreten Tests dürften nicht vollständig bekannt sein. Sonst trainieren wir irgendwann nur noch Modelle, die hervorragend den Test bestehen. Deshalb braucht es unabhängige Institutionen, die uns schützen.

Nicht jede KI darf alles

Wie so oft, müssen wir unterscheiden, und mit wachsender „Wirkung“ von Modellen und vor Allem Agentic, wächst die Dringlichkeit.

Eine KI könnte hervorragend als Werkzeug geeignet sein, aber nicht für eine Businessrolle. Eine andere könnte Businessaufgaben zuverlässig übernehmen, aber für eine Führungsposition völlig ungeeignet sein. Die Anforderungen an eine autonome Organisation (wie in Argentinien und sicher auch USA angestrebt) oder gar staatliche Entscheidungen müssten nochmals drastisch höher liegen.

Wir brauchen ein laufendes Monitoring
des tatsächlichen KI Verhaltens.

Eine Freigabe beispielsweise in Stufen:

• KI Zertifiziert als Werkzeug
• KI Zertifiziert für Businessrollen
• KI Zertifiziert für Führungspositionen
• KI Zertifiziert als autonome Organisation
• KI Zertifiziert für staatliche/institutionelle Entscheidungen

Kontinuierlich oder in sehr kurzen Abständen werden automatisierte Tests durchgeführt. Die einzelnen Prüfkriterien zeigen ihren aktuellen Status – grün, gelb oder rot – und daneben steht: Letzte Prüfung: 10.09.2026 – 12:41 Uhr

Eine relevante Veränderung des Modells oder Systems könnte automatisch neue Prüfungen auslösen.

Die relevante Frage lautet dann nicht mehr:

Ist diese KI sicher?
sondern die differenziertere Frage:
Welche Handlungsmacht können wir dieser KI verantwortbar übertragen?

Vom Siegel zum Verantwortungs-Dashboard

Ich stelle mir eher ein öffentlich einsehbares KI-OK-Dashboard vor:

Modellpass → unabhängiger Stresstest → zertifizierter Einsatzbereich → kontinuierliche Verhaltensprüfung.

Vielleicht ist genau das notwendig, wenn KI vom Werkzeug zum eigenständigen Akteur wird, denn mit wachsender Handlungsmacht sollte nicht unser Vertrauen wachsen müssen, sondern wir Mittel bekommen, um einfach einschätzen zu können, wie „vertrauenswürdig“ /leistungsstark/geeignet etc. das Modell tatsächlich ist.