KI-Risikomanagement: Was ein Aufsichtsgremium über die Risiken von KI-Agenten wissen muss

Kurz gesagt: Solange KI nur Texte vorschlägt, sind ihre Risiken überschaubar, und das KI-Risikomanagement bleibt einfach. Sobald Agenten handeln, also bestellen, planen, Kunden antworten oder Daten verändern, entstehen Risikoarten, die in den meisten Risikoberichten noch fehlen. Fünf gehören ausdrücklich hinein, nämlich Autonomie, Kosten, Anbieterabhängigkeit, Wissensabfluss und Regulierung. Ein Aufsichtsgremium sollte sie mit Verantwortlichen, Kennzahlen und Schwellenwerten berichten lassen.

Warum gehört KI-Risikomanagement in den Risikobericht?

Weil KI-Agenten in Prozesse eingreifen, die für Umsatz, Kunden und Haftung relevant sind. Die Pflicht der Geschäftsleitung, bestandsgefährdende Entwicklungen früh zu erkennen, ist in Deutschland gesetzlich verankert, für Aktiengesellschaften im Aktiengesetz, für Geschäftsleiter juristischer Personen allgemein im Unternehmensstabilisierungs- und -restrukturierungsgesetz. Ob KI-Risiken im Einzelfall bestandsgefährdend sind, hängt vom Unternehmen ab. Dass sie im Risikomanagement erfasst werden sollten, sobald Agenten operativ handeln, halte ich für unstrittig.

Welche Risiken bringen KI-Agenten mit sich?

RisikoWorum es gehtMögliche Kennzahl
AutonomieAgenten handeln in Bereichen, in denen niemand ausdrücklich entschieden hat, dass sie es dürfenAnteil der Agenten mit dokumentierter Autonomiestufe und Freigaberegel
KostenRechenkosten wachsen mit Nutzung und Fallschwierigkeit, Fehler wie Endlosschleifen können sie vervielfachenKosten pro erledigtem Fall, Abweichung vom Plan, Zahl der Kostenobergrenzen-Überschreitungen
AnbieterabhängigkeitKernprozesse hängen an einem einzigen Modell- oder Plattformanbieter, dessen Preise, Bedingungen und Verfügbarkeit das Unternehmen nicht steuertAnteil der Anwendungen mit austauschbarem Modell, Ausweichplan vorhanden ja/nein
WissensabflussKorrekturen und Ausnahmen, die Mitarbeitende einem fremden System beibringen, verbessern dessen Produkt, nicht das eigeneVertragliche Regelung zum gelernten Wissen je Anbieter
RegulierungPflichten aus dem EU AI Act, Datenschutz und Mitbestimmung werden nicht erfülltVollständigkeit des KI-Verzeichnisses, offene Prüfpunkte

Was bedeutet das Autonomierisiko konkret?

Agenten bekommen ihre Rechte oft schrittweise, erst für Vorschläge, dann für Routinefälle und irgendwann für mehr. Wenn diese Ausweitung nicht ausdrücklich entschieden wird, entsteht Autonomie aus Gewohnheit. Das Risiko liegt weniger im einzelnen Fehler als darin, dass niemand mehr weiß, was ein System darf, und dass im Schadensfall nicht nachvollziehbar ist, wer es freigegeben hat. Ein Gremium sollte deshalb nach einer Übersicht fragen: Welche Agenten handeln wo mit welcher Autonomiestufe, wer hat das entschieden, und wann wurde es zuletzt geprüft?

Warum ist Anbieterabhängigkeit ein Aufsichtsthema?

Viele Unternehmen bauen ihre KI-Anwendungen auf den Modellen eines einzigen großen Anbieters. Das ist bequem, macht aber Preise, Nutzungsbedingungen und Verfügbarkeit zu externen Größen, die das Unternehmen nicht steuert. Hinzu kommt eine subtilere Form der Abhängigkeit. Gartner rät Anbietern ausdrücklich, kundenspezifisches Wissen zu erfassen und zu halten (Gartner, 1. Juli 2026). Aus Kundensicht kann das bedeuten, dass beim Anbieter bleibt, was die eigenen Mitarbeitenden einem fremden System beibringen. Wer das vertraglich nicht regelt, finanziert womöglich die Verbesserung eines Produkts, das auch Wettbewerber nutzen.

Welche regulatorischen Risiken sind relevant?

Der EU AI Act gilt schrittweise. Verbote bestimmter Praktiken und die Pflicht zur Förderung von KI-Kompetenz gelten seit Februar 2025, Transparenzpflichten seit August 2026, Pflichten für Hochrisiko-Systeme nach Anhang III ab Dezember 2027. Für verbotene Praktiken drohen Bußgelder bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes. Hinzu kommen Datenschutz und in Deutschland die Mitbestimmung, wenn Systeme Leistung oder Verhalten von Beschäftigten erfassen können.

Welche Fragen sollte das Gremium stellen?

  1. Gibt es ein vollständiges Verzeichnis der KI-Systeme, die im Unternehmen eigenständig handeln?
  2. Ist für jedes dieser Systeme die Autonomiestufe dokumentiert und von einer verantwortlichen Person freigegeben?
  3. Gibt es Kostenobergrenzen pro Fall und eine Übergabe an Menschen, wenn sie überschritten werden?
  4. Können wir den Modellanbieter wechseln, und wie lange würde das dauern?
  5. Wem gehört vertraglich das Wissen, das unsere Mitarbeitenden fremden Systemen beibringen?
  6. Wie fließen diese Punkte in den regulären Risikobericht ein, mit Verantwortlichen und Schwellenwerten?

Häufige Fragen

Welche Risiken haben KI-Agenten für Unternehmen?

Wesentliche Risiken sind unklar vergebene Autonomie, schwer planbare Rechenkosten, Abhängigkeit von einzelnen Modellanbietern, Abfluss von Unternehmenswissen an Anbieter sowie regulatorische Risiken aus EU AI Act, Datenschutz und Mitbestimmung.

Muss KI im Risikomanagement berücksichtigt werden?

Sobald KI-Systeme in geschäftsrelevante Prozesse eingreifen, sollten ihre Risiken wie andere operative Risiken erfasst, bewertet und berichtet werden. Die konkrete Ausgestaltung hängt von Rechtsform, Größe und Einsatzbereich ab.

Wie verringert man die Abhängigkeit von KI-Anbietern?

Durch Architekturen, in denen Modelle austauschbar sind, durch Ausweichpläne für kritische Anwendungen und durch Verträge, die regeln, wem im Betrieb gelerntes Wissen gehört.

Dieser Beitrag ersetzt keine Rechtsberatung zu den Pflichten von Geschäftsleitung und Aufsichtsgremien.

Mehr zum Thema: EU AI Act für Beiräte · KI-Kompetenz im Gremium · Fünf Fragen an die Geschäftsführung

Quellen: Gartner, Pressemitteilung vom 1. Juli 2026 · Verordnung (EU) 2024/1689 (AI Act), EUR-Lex

Ähnliche Beiträge