EU AI Act Human Oversight

Wirksame menschliche Aufsicht nach Art.

14 AI Act verbessert die Entscheidungsqualität von KI-Systemen, reduziert Haftungsrisiken und stärkt das Vertrauen von Kunden und Aufsichtsbehörden. Die systematische Einbindung qualifizierter Aufsichtspersonen ermöglicht es, Fehler frühzeitig zu erkennen und zu korrigieren — bevor sie geschäftliche oder rechtliche Folgen haben.

Die Wahl zwischen Human-in-the-Loop, Human-on-the-Loop und Human-in-Command hängt vom Risikoprofil, der Entscheidungsautonomie und dem Einsatzkontext des KI-Systems ab. Bei sicherheitskritischen Anwendungen ist eine direkte Genehmigung jeder Entscheidung (Human-in-the-Loop) erforderlich, während bei geringerem Risiko eine laufende Überwachung (Human-on-the-Loop) ausreichen kann.

Anbieter müssen geeignete Mensch-Maschine-Schnittstellen integrieren, die eine wirksame Überwachung ermöglichen. Dazu gehören: Darstellung der Systemfähigkeiten und -grenzen, korrekte Interpretation der Ergebnisse, Möglichkeit zur Überstimmung oder Nichtbeachtung des KI-Outputs und ein Stopp-Mechanismus zur sofortigen Unterbrechung des Betriebs.

Bewährte Maßnahmen gegen Automation Bias umfassen: regelmäßige Schulungen zum Erkennen der Tendenz, KI-Ergebnissen unkritisch zu vertrauen, Rotation der Aufsichtspersonen, bewusste Gegenprüfverfahren, technische Warnsysteme bei ungewöhnlichen KI-Ausgaben und die Dokumentation abweichender Einschätzungen der Aufsichtspersonen.

Aufsichtspersonen müssen die Fähigkeiten und Grenzen des KI-Systems verstehen, dessen Betrieb überwachen können und über die Befugnis verfügen, das System bei Anomalien abzuschalten. Art.

26 verlangt zusätzlich angemessene Kompetenz, Schulung und Unterstützung. Unternehmen müssen entsprechende Qualifizierungsprogramme einrichten.

Der europäische Standard EN 18229–1 wird strukturierte Vorgaben zur Umsetzung der Human-Oversight-Anforderungen des AI Act liefern. Er konkretisiert, wie Anbieter und Betreiber die Aufsichtsmaßnahmen technisch und organisatorisch umsetzen können, und dient als anerkannter Nachweis der Konformität bei Audits und Prüfungen.

Anbieter müssen die technischen Voraussetzungen schaffen: geeignete Schnittstellen, Stopp-Mechanismen und Interpretierbarkeit. Betreiber müssen die organisatorischen Maßnahmen umsetzen: qualifiziertes Personal benennen, Schulungen durchführen, Überwachungsprozesse einrichten und die Befugnis zur Intervention sicherstellen. Beide Seiten werden von Aufsichtsbehörden geprüft.