EU AI Act Risk Management System

Art. 9 EU AI Act verpflichtet Anbieter von Hochrisiko-KI-Systemen, ein Risikomanagementsystem einzurichten, anzuwenden, zu dokumentieren und aufrechtzuerhalten. Das System muss als kontinuierlicher iterativer Prozess über den gesamten Lebenszyklus des KI-Systems geplant und durchgeführt werden. Konkret umfasst es: (a) Identifikation und Analyse bekannter und vorhersehbarer Risiken, (b) Abschätzung und Bewertung der Risiken bei bestimmungsgemäßer Verwendung und vorhersehbarer Fehlanwendung, (c) Bewertung weiterer Risiken auf Basis von Daten aus dem Post-Market-Monitoring nach Art. 72, und (d) Ergreifung geeigneter Risikomanagementmaßnahmen. Die Frist zur Umsetzung für Hochrisiko-KI-Systeme läuft bis Dezember 2027.

Der Risikomanagement-Prozess nach Art. 9 AI Act gliedert sich in vier Kernschritte: Erstens die Risikoidentifikation, die systematische Ermittlung aller bekannten und vorhersehbaren Risiken für Gesundheit, Sicherheit und Grundrechte. Zweitens die Risikobewertung, die Abschätzung der identifizierten Risiken unter Berücksichtigung der bestimmungsgemäßen Verwendung und vorhersehbarer Fehlanwendung. Drittens die Risikominderung, die Festlegung geeigneter Maßnahmen nach dem Prinzip: zuerst Beseitigung, dann Verringerung, schließlich dokumentierte Akzeptanz von Restrisiken. Viertens die Validierung, Tests anhand vorab festgelegter Metriken und Schwellenwerte vor dem Inverkehrbringen.

Das Risikomanagementsystem nach Art. 9 AI Act unterscheidet sich in mehreren Punkten vom klassischen Risikomanagement: Es ist spezifisch auf den gesamten Lebenszyklus eines KI-Systems ausgerichtet, von der Konzeption bis zur Außerbetriebnahme. Es verlangt die Berücksichtigung KI-spezifischer Risiken wie algorithmische Verzerrungen (Bias), mangelnde Erklärbarkeit und unbeabsichtigte Auswirkungen auf Grundrechte. Zudem muss das System die Wechselwirkungen zwischen den verschiedenen Anforderungen der Kapitel III Abschnitt 2 berücksichtigen (Art. 9 Abs. 4). Anders als klassische Risikoansätze schreibt der AI Act auch spezifische Testanforderungen mit vorab definierten Metriken und Wahrscheinlichkeitsschwellenwerten vor.

Art. 9 Abs. 7 AI Act verlangt, dass Hochrisiko-KI-Systeme zu geeigneten Zeitpunkten während des gesamten Entwicklungsprozesses getestet werden, und in jedem Fall vor dem Inverkehrbringen oder der Inbetriebnahme. Die Tests müssen anhand vorab festgelegter Metriken und Wahrscheinlichkeitsschwellenwerte erfolgen, die für die Zweckbestimmung geeignet sind. Dabei sind insbesondere zu berücksichtigen, ob das System für Minderjährige oder besonders schutzbedürftige Gruppen bestimmt ist (Art. 9 Abs. 9). Tests unter Realbedingungen können gemäß Art. 60 durchgeführt werden.

Nach Art. 9 Abs. 6 AI Act müssen verbleibende Restrisiken, die durch Risikominderungsmaßnahmen nicht vollständig beseitigt werden können, als akzeptabel eingestuft und dokumentiert werden. Die Restrisiken dürfen in Verbindung mit den getroffenen Maßnahmen kein unannehmbares Risiko darstellen. Der Anbieter muss den Nutzer über die Restrisiken informieren und geeignete Nutzungsinformationen bereitstellen. Die Dokumentation der Restrisiko-Akzeptanz ist Teil der technischen Dokumentation nach Art. 11 und wird von Marktüberwachungsbehörden geprüft.

Für Hochrisiko-KI-Systeme nach Anhang III des EU AI Act gilt eine Übergangsfrist bis zum 2. Dezember 2027. Ab diesem Datum müssen alle Anbieter solcher Systeme ein vollständiges Risikomanagementsystem nach Art. 9 vorweisen können. Für KI-Systeme, die als Sicherheitskomponenten von Produkten nach Anhang I eingesetzt werden, gelten die Anforderungen ab dem 2. August 2028. Wir empfehlen, bereits jetzt mit der Umsetzung zu beginnen, da die Implementierung eines umfassenden Risikomanagementsystems erfahrungsgemäß 6 bis 12 Monate in Anspruch nimmt.

ADVISORI unterstützt bei der vollständigen Umsetzung des Art. 9 AI Act in vier Phasen: (1) Bestandsaufnahme und Klassifizierung Ihrer KI-Systeme nach den Risikoklassen des AI Act, (2) Aufbau des Risikomanagementsystems mit Risikobewertungsverfahren, Metriken und Dokumentationsvorlagen, (3) Integration in bestehende Governance-Strukturen wie ERM-Frameworks oder ISO 31000, und (4) Begleitung bei Tests und Validierung vor dem Inverkehrbringen. Dabei berücksichtigen wir die Wechselwirkungen mit anderen Anforderungen wie dem Qualitätsmanagementsystem (Art. 17), der technischen Dokumentation (Art. 11) und dem Post-Market-Monitoring (Art. 72).