EU AI Act Hochrisiko-KI: Alle Pflichten für Anbieter & Betreiber

Hochrisiko-KI-Systeme sind KI-Anwendungen, die nach Artikel 6 der KI-Verordnung besonders strenge Anforderungen erfüllen müssen. Es gibt zwei Kategorien: Erstens KI-Systeme, die als Sicherheitskomponenten in Produkte nach Anhang I integriert sind (z. B. Medizinprodukte, Maschinen, Aufzüge). Zweitens eigenständige KI-Systeme in den acht Anwendungsbereichen des Anhang III, von biometrischer Identifikation über Personalmanagement bis zur Strafverfolgung. Entscheidend: Auch KI-Systeme in Anhang-III-Bereichen können als nicht-hochriskant eingestuft werden, wenn sie keine erheblichen Auswirkungen auf die Entscheidungsfindung haben (Art. 6 Abs. 3).

Anbieter müssen gemäß Artikel 16 der KI-Verordnung umfangreiche Pflichten erfüllen: Ein Risikomanagementsystem einrichten (Art. 9), Daten-Governance sicherstellen (Art. 10), technische Dokumentation erstellen und aktuell halten (Art. 11), automatische Protokollierung implementieren (Art. 12), Transparenz und Nutzerinformation gewährleisten (Art. 13), menschliche Aufsicht ermöglichen (Art. 14), Genauigkeit, Robustheit und Cybersicherheit sicherstellen (Art. 15), ein Qualitätsmanagementsystem betreiben (Art. 17) sowie eine Konformitätsbewertung durchführen und die CE-Kennzeichnung anbringen (Art. 43).

Anhang III definiert acht Hochrisiko-Bereiche: 1) Biometrische Identifikation und Kategorisierung. 2) Verwaltung und Betrieb kritischer Infrastrukturen (Verkehr, Energie, Wasser, digitale Netze). 3) Allgemeine und berufliche Bildung (Prüfungsbewertung, Zugangssteuerung). 4) Beschäftigung und Arbeitnehmerverwaltung (Einstellung, Beförderung, Kündigung). 5) Zugang zu wesentlichen öffentlichen und privaten Dienstleistungen (Kreditwürdigkeit, Notdienste, Versicherungen). 6) Strafverfolgung. 7) Migration, Asyl und Grenzkontrolle. 8) Rechtspflege und demokratische Prozesse.

Vor dem Inverkehrbringen muss jedes Hochrisiko-KI-System eine Konformitätsbewertung durchlaufen (Art. 43). Für die meisten Anhang-III-Systeme erfolgt diese als interne Kontrolle durch den Anbieter selbst (Anhang VI). Für biometrische Echtzeit-Fernidentifikation in der Strafverfolgung ist eine Drittbewertung durch eine notifizierte Stelle erforderlich (Anhang VII). Der Anbieter erstellt anschließend eine EU-Konformitätserklärung (Art. 47), bringt die CE-Kennzeichnung an (Art. 48) und registriert das System in der EU-Datenbank. Bei wesentlichen Änderungen ist eine erneute Bewertung erforderlich.

Artikel 14 verlangt, dass Hochrisiko-KI-Systeme so konzipiert werden, dass natürliche Personen sie wirksam beaufsichtigen können. Die Aufsicht muss Folgendes ermöglichen: Verständnis der Fähigkeiten und Grenzen des Systems, Erkennung und Behebung von Anomalien und unerwarteten Ausgaben, die Möglichkeit, das System nicht zu verwenden oder in die Ausgabe einzugreifen, sowie die Unterbrechung des Systems über eine Stopp-Funktion. Die Aufsichtsmaßnahmen müssen dem Risikoniveau und dem Autonomiegrad des Systems angemessen sein.

Die Pflichten treten gestaffelt in Kraft: Seit dem 2. Februar 2025 gelten die Verbote für KI mit unannehmbarem Risiko (Art. 5). Seit dem 2. August 2025 gelten die GPAI-Regeln. Der Digital Omnibus on AI, verabschiedet im Juni 2026, hat die Hochrisiko-Anforderungen nach Anhang III vom 2. August 2026 auf den 2. Dezember 2027 verschoben. Für Hochrisiko-Systeme nach Anhang I (Produktsicherheit) gilt seither der 2. August 2028. Bereits in Verkehr gebrachte Systeme müssen bei wesentlichen Änderungen nachgerüstet werden.

Artikel 72 verpflichtet Anbieter zur Einrichtung eines Post-Market-Monitoring-Systems, das aktiv und systematisch Leistungsdaten während des gesamten Lebenszyklus des KI-Systems sammelt und analysiert. Dazu gehören Nutzerbeschwerden, Fehlfunktionen und Vorfälle. Bei schwerwiegenden Vorfällen, die zu Tod, schweren Gesundheitsschäden oder erheblichen Sachschäden führen oder führen können, besteht nach Artikel 73 eine Meldepflicht an die Marktüberwachungsbehörde innerhalb von 15 Tagen. Das Monitoring muss in einem dokumentierten Plan festgelegt und regelmäßig aktualisiert werden.