Strategische AI-Governance im Finanzsektor: Umsetzung des BSI-Testkriterienkatalogs in der Praxis

Strategische AI-Governance im Finanzsektor: Umsetzung des BSI-Testkriterienkatalogs in der Praxis

Executive Summary

• Neue EU-Vorgaben wie der AI Act erfordern eine lückenlose Prüfung von sogenannten Hochrisiko-AI-Systemen – das BSI bietet nun diesbezüglich erstmals einen praxistaugliches Testkriterienkatalog.
• Finanzunternehmen benötigen eine risikobasierte, systematische AI-Governance – nur Einzelmaßnahmen reichen nicht mehr aus.
• Für jeden, der den Einsatz von AI in einem Finanzunternehmen verantwortet, ergeben sich klare Handlungsfelder in den Bereichen Transparenz, Robustheit, Governance und Fairness.
• Kritische Risiken wie Datenvergiftungen, Modellmanipulation und Fairnessverzerrungen sollen strukturell identifiziert und reduziert werden können.
• Das Bundesamt für Sicherheit in der Informationstechnik (BSI) liefert mit seinem neuen Kriterienkatalog einen Prüfrahmen.

Einleitung: Warum die Zukunft der AI kein Experimentierfeld mehr ist

AI ist für verschiedene Bereiche eines Finanzinstituts attraktiv, um die Effizienz zu erhöhen, vom Kundenservice bis zum Backoffice. Unsicherheit, was die AI-Modellrisiken betrifft, ist jedoch immer wieder ein Hemmnis für die Entwicklung. Tatsächlich, unkontrollierter Einsatz von AI birgt erhebliche Reputations-, Rechts- und operative Risiken. Und die regulatorische Grauzone für AI-Anwendungen verengt sich.

Mit dem EU AI Act steigen die Anforderungen an Prüfprozesse, Nachvollziehbarkeit und Risikomanagement massiv. Der neue Test Criteria Catalogue des BSI liefert nun ein Framework, das Finanzhäusern helfen kann, sowohl regulatorische Compliance als auch robuste operative Tätigkeit sicherzustellen.

1. AI-Risiken im Finanzsektor: Die unsichtbare Bedrohung sichtbar machen

🔍 Transparenz als Prüfstein strategischer Steuerbarkeit

Häufig wird davon gesprochen, dass viele AI-Systeme als „Black Boxes“ operieren, nicht ganz ungerechtfertigt. Doch in einem regulierten Umfeld wie der Finanzbranche ist das nur bedingt akzeptabel. Dementsprechend befasst sich das BSI in seinem Katalog u.a. mit:

• Erklärbarkeit bei entscheidungsrelevanten Modellen (insbesondere TR-01)
• Kennzeichnung von AI-generierten Inhalten für die Nutzer
• Dokumentation der Modellentscheidungen inklusive Feedbackprozessen

🤙 Feedbackprozesse: Best Practices

• Strukturierte Feedbackformulare: Anstelle von Freitext sollten vordefinierte Antwortformate zur Klassifikation von Problemen bereitgestellt werden.
• Relevante Feedbacksysteme: Feedback muss systematisch gespeichert, analysiert und in Modellanpassung überführt werden.
• Human-in-the-loop-Schleifen: Rückmeldungen müssen in regelmäßigen Intervallen von Menschen überprüft werden.

Strategischer Nutzen: Nur Transparenz wird erlauben, AI-Systeme auch in kritischen Anwendungsfeldern so einzusetzen, dass dies von Stakeholdern akzeptiert wird.

2. Fairness: Diskriminierung ist nicht nur ein Reputationsrisiko

⚖️ Fairness ist kein ethisches Add-on, sondern regulatorisches Muss

Der Katalog fordert von Unternehmen, systematisch:

• sensible Merkmale zu identifizieren (z.B. Geschlecht, Herkunft)
• Verzerrungen im Output, die Kundengruppen benachteiligen können, zu messen
• verzerrungsmitigierende Maßnahmen umzusetzen

Implikation für die Unternehmensführung: Wer Fairness nicht systematisch steuert und nachweist, riskiert regulatorische Sanktionen.

3. Governance & Verantwortung: AI braucht eine neue Ordnung

🧭 Verantwortung muss über den Lebenszyklus von AI-Systemen klar geregelt sein

Der BSI-Katalog legt u.a. dar:

• Jedes Unternehmen muss ein Quality Management System (QMS) für AI-Systeme etablieren (GOV-02).
• Zuständigkeiten entlang des AI-Lebenszyklus müssen dokumentiert sein (GOV-12).
• Manuelle Überwachungsprozesse, von Menschen ausgeführt, sind verpflichtend (HO-01 bis HO-04).

Das betrifft nicht nur Eigenentwicklungen – auch die Anwendungen von Third-Party-Modellen müssen unter die AI-Governance fallen.

Strategischer Nutzen: Organisationen sichern sich regulatorisch ab und erhalten ihre gute Reputation, wenn AI nicht nur auf einer technischen Ebene, sondern auch mit Blick auf die Auswirkungen in der Organisation betrachtet wird.

4. Sicherheit & Robustheit: AI darf kein Einfallstor für Angreifer sein

🔐 Technische Sicherheit von AI-Anwendungen ist nicht nur ein IT-Thema, sondern auch ein Governance-Thema

Adversarial Attacks sind

• Whitebox-Angriffe: Die Angreifer kennen das Modell und erzeugen gezielte Störimpulse.
• Blackbox-Angriffe: Keine Modellkenntnis der Angreifer, aber iteratives Testen zur Manipulation des Outputs.
• Backdoor-Angriffe: Das Modell wird manipuliert, um bei bestimmten Triggern gezielt falsche Ergebnisse zu liefern.

Empfohlenswerte Maßnahmen diesbezüglich sind

• Adversarial Training
• Überprüfen, Bereinigen und Filtern von Eingabedaten
• Penetrationstests durch Dritte

Außerdem hervorzuheben im Katalog sind

• Absicherung gegen Modell-Diebstahl und Output-Manipulation (AISR-17, AISR-18)
• Residual Risk Management als Pflichtaufgabe (AISR-19)

Viele Organisationen unterschätzen AI-spezifische Angriffsvektoren und vertrauen auf generische IT-Security.

Bedeutung für die Governance: Sicherheitsprüfungen müssen AI-spezifisch erweitert werden.

5. Datenqualität & -management: Das Fundament der Fairness

🧬 Ohne Datenstrategie keine AI-Strategie

• Datenherkunft, -verarbeitung und -löschung müssen lückenlos dokumentiert sein (DQM-03, DQM-04 usw.).
• Nutzerrechte (z.B. das "Recht auf Vergessen") müssen technisch umgesetzt werden (DQM-09).

Strategische Bedeutung: Datenqualität ist „nur“ die technische Voraussetzung für regulatorisch konforme AI-Governance. Es soll sichergestellt werden, dass die Entscheidungsgrundlagen korrekt, fair und überprüfbar sind.

Strategische Takeaways

• Führungskräfte müssen AI nicht selbst entwickeln – aber alles verantworten.
• Transparenz, Fairness und Sicherheit sind keine Add-ons, sondern für Hochrisiko-AI-Systeme Pflichtbestandteile regulatorisch konformer AI-Nutzung.
• Das BSI-Kriterienset liefert ein konkretes Prüf-Framework, das strategisch operationalisierbar ist.
• Wer heute AI-Governance aufsetzt, investiert nicht nur in Compliance – sondern auch in Zukunftsfähigkeit.

Fazit & Nächste Schritte

Die Diskussion um AI muss sich in regulierten Branchen von der technischen Spielwiese lösen. Das BSI liefert mit seinem Katalog ein strukturiertes Fundament, das Finanzinstitute für die Etablierung einer belastbaren AI-Governance heranziehen können.

„Nicht der Einsatz von AI ist risikobehaftet – sondern ihr ungesteuerter Einsatz.“

Denken Sie über Folgendes nach:

• Wo existieren AI-Systeme in meinem Verantwortungsbereich – direkt oder indirekt?
• Wie nachweisbar sind Fairness, Transparenz und Sicherheitsmaßnahmen heute?
• Existieren definierte Rollen und Reviewprozesse für die AI-Governance?

📩 Jetzt aktiv werden:👉 [Laden Sie hier den vollständigen BSI-Testkriterienkatalog herunter]👉 [Kontaktieren Sie unsere Experten für eine AI-Governance-Strategieberatung]

FAQ: Häufige Fragen zur Umsetzung der BSI-Kriterien

1. Was unterscheidet AI-spezifische Risiken von klassischen IT-Risiken?AI-Risiken entstehen oft durch das Lernverhalten des AI-Systems, Verzerrungen in Trainingsdaten, mangelnde Erklärbarkeit des AI-Modells oder adversariale Angriffe – und die AI-Risiken sind dynamisch, nicht statisch.

2. Welche Bedeutung haben die MaRisk im Kontext der AI-Risiken?AI-Systeme müssen in das Modellrisikomanagement übernommen werden. Dies erfordert die Hinterlegung von Standards analog zu Modellvalidierungspflichten für Banken (gem. AT 4.3.3 MaRisk).

3. Wie lässt sich Fairness technisch und regulatorisch nachweisen?Durch Bias-Messverfahren, definierte Schwellenwerte und dokumentierte Mitigationsstrategien – wie vom BSI gefordert.

4. Welche Rolle spielt Transparenz bei regulatorischen Anforderungen?Transparenz ist eine Grundvoraussetzung für Prüfungen, Nutzerakzeptanz und systemseitige Rückverfolgbarkeit.

5. Sind auch zugekaufte AI-Modelle von Regulierung betroffen?Ja – insbesondere in Bezug auf Modelltransparenz, Fairness und Sicherheitsprüfungen sind Unternehmen für den Einsatz von Third-Party-Komponenten verantwortlich.

6. Wie etabliere ich ein AI-Quality-Management-System (QMS)?Der BSI-Katalog nennt konkrete Strukturpunkte: Dokumentation, Auditierungszyklen, Verantwortlichkeiten und Rückverfolgbarkeit.

7. Wie sieht ein exemplarischer Projektplan aus für die Einführung eines AI-Systems gemäß BSI-Kriterien?

Scope & Risikoanalyse

• Klassifikation gemäß AI Act (z. B. Hochrisiko)
• Stakeholder-Identifikation

Governance

• Rollenverteilung (QMS, Verantwortliche, Audit)
• Auswahl von Tools für Dokumentation & Monitoring

Transparenz & Fairness

• Betrachtung der Interpretierbarkeit des Modells, Dokumentation
• Bias-Checks, Mitigationsstrategie

Security & Testing

• Adversarial Test
• Angriffssimulation, Logging, Response-Pläne

Rollout & Kontinuierliche Überwachung

• Menschliche Überwachung, Feedbackprozesse
• Definition jährlicher Reviewzyklen und Pen-Tests