EU AI Act High-Risk AI Systems

Hochrisiko-KI-Systeme sind KI-Anwendungen, die nach Artikel

6 der KI-Verordnung besonders strenge Anforderungen erfüllen müssen. Es gibt zwei Kategorien: Erstens KI-Systeme, die als Sicherheitskomponenten in Produkte nach Anhang I integriert sind (z. B. Medizinprodukte, Maschinen, Aufzüge). Zweitens eigenständige KI-Systeme in den acht Anwendungsbereichen des Anhang III — von biometrischer Identifikation über Personalmanagement bis zur Strafverfolgung. Entscheidend: Auch KI-Systeme in Anhang-III-Bereichen können als nicht-hochriskant eingestuft werden, wenn sie keine erheblichen Auswirkungen auf die Entscheidungsfindung haben (Art.

6 Abs. 3).

Anbieter müssen gemäß Artikel

16 der KI-Verordnung umfangreiche Pflichten erfüllen: Ein Risikomanagementsystem einrichten (Art. 9), Daten-Governance sicherstellen (Art. 10), technische Dokumentation erstellen und aktuell halten (Art. 11), automatische Protokollierung implementieren (Art. 12), Transparenz und Nutzerinformation gewährleisten (Art. 13), menschliche Aufsicht ermöglichen (Art. 14), Genauigkeit, Robustheit und Cybersicherheit sicherstellen (Art. 15), ein Qualitätsmanagementsystem betreiben (Art. 17) sowie eine Konformitätsbewertung durchführen und die CE-Kennzeichnung anbringen (Art. 43).

Anhang III definiert acht Hochrisiko-Bereiche: 1) Biometrische Identifikation und Kategorisierung. 2) Verwaltung und Betrieb kritischer Infrastrukturen (Verkehr, Energie, Wasser, digitale Netze). 3) Allgemeine und berufliche Bildung (Prüfungsbewertung, Zugangssteuerung). 4) Beschäftigung und Arbeitnehmerverwaltung (Einstellung, Beförderung, Kündigung). 5) Zugang zu wesentlichen öffentlichen und privaten Dienstleistungen (Kreditwürdigkeit, Notdienste, Versicherungen). 6) Strafverfolgung. 7) Migration, Asyl und Grenzkontrolle. 8) Rechtspflege und demokratische Prozesse.

Vor dem Inverkehrbringen muss jedes Hochrisiko-KI-System eine Konformitätsbewertung durchlaufen (Art. 43). Für die meisten Anhang-III-Systeme erfolgt diese als interne Kontrolle durch den Anbieter selbst (Anhang VI). Für biometrische Echtzeit-Fernidentifikation in der Strafverfolgung ist eine Drittbewertung durch eine notifizierte Stelle erforderlich (Anhang VII). Der Anbieter erstellt anschließend eine EU-Konformitätserklärung (Art. 47), bringt die CE-Kennzeichnung an (Art. 48) und registriert das System in der EU-Datenbank. Bei wesentlichen Änderungen ist eine erneute Bewertung erforderlich.

Artikel

14 verlangt, dass Hochrisiko-KI-Systeme so konzipiert werden, dass natürliche Personen sie wirksam beaufsichtigen können. Die Aufsicht muss Folgendes ermöglichen: Verständnis der Fähigkeiten und Grenzen des Systems, Erkennung und Behebung von Anomalien und unerwarteten Ausgaben, die Möglichkeit, das System nicht zu verwenden oder in die Ausgabe einzugreifen, sowie die Unterbrechung des Systems über eine Stopp-Funktion. Die Aufsichtsmaßnahmen müssen dem Risikoniveau und dem Autonomiegrad des Systems angemessen sein.

Die Pflichten treten gestaffelt in Kraft: Seit dem 2. Februar

2025 gelten die Verbote für KI mit unannehmbarem Risiko (Art. 5). Seit dem 2. August

2025 gelten die GPAI-Regeln. Am 2. August

2026 treten die Hochrisiko-Anforderungen nach Anhang III in Kraft — der EU Digital Omnibus Act sieht jedoch eine mögliche Verschiebung auf den 2. Dezember

2027 vor. Für Hochrisiko-Systeme nach Anhang I (Produktsicherheit) gilt die Frist 2. August 2027. Bereits in Verkehr gebrachte Systeme müssen bei wesentlichen Änderungen nachgerüstet werden.

Artikel

72 verpflichtet Anbieter zur Einrichtung eines Post-Market-Monitoring-Systems, das aktiv und systematisch Leistungsdaten während des gesamten Lebenszyklus des KI-Systems sammelt und analysiert. Dazu gehören Nutzerbeschwerden, Fehlfunktionen und Vorfälle. Bei schwerwiegenden Vorfällen — die zu Tod, schweren Gesundheitsschäden oder erheblichen Sachschäden führen oder führen können — besteht nach Artikel

73 eine Meldepflicht an die Marktüberwachungsbehörde innerhalb von

15 Tagen. Das Monitoring muss in einem dokumentierten Plan festgelegt und regelmäßig aktualisiert werden.