Lernziele
- Datenbias, Messbias und Rückkopplung unterscheiden
- Diskriminierungsrisiken in Anwendungsfällen erkennen
- Praktische Prüfschritte anwenden
Drei Quellen
Datenbias entsteht, wenn die Trainings- oder Referenzdaten die Welt verzerrt abbilden — etwa historische Einstellungsentscheidungen, die eine Gruppe systematisch benachteiligt haben. Messbias entsteht, wenn der Zielwert das eigentliche Anliegen schlecht abbildet, etwa „Klickrate“ als Ersatz für „Nutzen“. Rückkopplung entsteht, wenn Systemausgaben künftige Daten prägen und die Verzerrung dadurch verstärken.
Verzerrung ist selten sichtbar, wenn man nur die durchschnittliche Qualität betrachtet. Sie wird sichtbar, wenn man die Qualität nach Gruppen aufschlüsselt.
Was praktisch hilft
Definieren Sie vor dem Einsatz, welche Gruppen betroffen sein könnten, und werten Sie Ergebnisse getrennt nach diesen Gruppen aus. Stellen Sie dieselbe Aufgabe mit variierten, nicht sachrelevanten Merkmalen und vergleichen Sie die Ausgaben — unterschiedliche Ergebnisse bei sachlich gleichem Fall sind ein klares Alarmsignal.
Bei personenbezogenen Entscheidungen gilt zusätzlich: Begründungspflicht und menschliche Überprüfbarkeit. Ein System, dessen Ausgabe niemand begründen kann, ist für solche Entscheidungen ungeeignet, unabhängig von seiner Trefferquote.
Beispiel
Zwei identische Bewerbungsprofile, nur Vorname und Wohnort variiert. Weichen Bewertung oder Tonfall ab, liegt ein Diskriminierungsrisiko vor.
Kernaussagen
- Bias hat mehrere, unabhängige Quellen.
- Nur gruppenweise Auswertung macht ihn sichtbar.
- Nicht begründbare Entscheidungen sind bei Personenbezug unzulässig.
Übung
Führen Sie den Variationstest an einem eigenen Anwendungsfall durch und dokumentieren Sie die Abweichungen wörtlich.
Wissenscheck · formativ
Wie wird Verzerrung am ehesten sichtbar?
Dieser Wissenscheck dient dem Lernen. Er ist kein Prüfungselement und hat keine Wirkung auf Zertifizierung oder Zulassung.