Eine effektive Model Governance erfordert die systematische Überwachung spezifischer Key Performance Indicators (KPIs), die die Qualität, Risiken und den Wertbeitrag von Modellen messbar machen. Ein umfassendes KPI-Framework für Model Governance umfasst verschiedene Dimensionen:
📊
Modellqualitäts- und Performance-KPIs
•
Statistische Leistungsmetriken: Accuracy, Precision, Recall, F1-Score, AUC, RMSE, etc.
•
Modellstabilität: Population Stability Index (PSI), Characteristic Stability Index (CSI)
•
Kalibration: Brier Score, Expected Calibration Error (ECE)
•
Diskriminierungsfähigkeit: Gini-Koeffizient, Kolmogorov-Smirnov-Statistik
•
Robustheit: Performance-Varianz über verschiedene Datensegmente und Zeiträume
•
Vergleichsmetriken: Performance relativ zu Benchmark- oder Vorgängermodellen
•
Degradationsrate: Geschwindigkeit der Leistungsabnahme über Zeit
🔍
Risiko- und Compliance-KPIs
•
Modellrisiko-Score: Aggregierte Bewertung des Gesamtrisikos eines Modells
•
Validierungsqualität: Umfang und Tiefe der durchgeführten Validierungen
•
Compliance-Rate: Grad der Einhaltung relevanter regulatorischer Anforderungen
•
Dokumentationsqualität: Vollständigkeit und Aktualität der Modelldokumentation
•
Override-Rate: Häufigkeit manueller Überschreibungen von Modellentscheidungen
•
Incident-Rate: Anzahl modellbezogener Vorfälle und Probleme
•
Time-to-Resolution: Dauer bis zur Behebung identifizierter Modellprobleme
⚖
️ Fairness- und Ethik-KPIs
•
Demographic Parity: Gleichheit der Ergebnisverteilung über verschiedene Gruppen
•
Equal Opportunity:.