Direkt zum Hauptbereich

#Diskriminierung mittels #Algorithmen?

Heute wird @Peter_Schaar im @MCIRMuenchen darüber reden, wie objektiv und neutral Big-Data-Anwendungen sind. Danach gibt es eine Podiumsdiskussion, an der auch ich teilnehmen darf.
Hier schon mal ein paar Gedanken dazu:

Algorithmen sind keine Blackbox, sondern mathematisch definiert und häufig ziemlich simpel.

Immer wieder heißt es, ein Algorithmus wäre ein Ding, das sich der genauen Betrachtung entzieht und nicht verständlich ist. Aber nur weil etwas mit Mathematik im Zusammenhang steht, heißt das noch lange nicht, dass man (wer eigentlich genau?) das nicht verstehen kann. Viele Algorithmen sind nicht nur mathematisch definiert, sondern auch in ihrer Funktionsweise sehr intuitiv.

Liebe deinen nächsten Nachbarn!

Zum Beispiel ist der k-nearest neighbor (k-NN) Algorithmus sehr beliebt in Big-Data-Anwendungen und wirklich nicht kompliziert: Ich will Prognosen über eine bestimmte Variable machen (z. B. die Kreditwürdigkeit eines Kunden). Ich habe einen Datensatz, der unterschiedliche Werte (z. B. das Einkommen, Geschlecht, Alter, Schuhgröße…) und einen Wert zur Kreditwürdigkeit enthält. Jetzt kommt ein neuer Kunde, von dem ich zwar die anderen Werte erfassen kann, aber die Kreditwürdigkeit nicht kenne. Also schaue ich einfach in meinen Daten, welche Altkunden dem neuen am ähnlichsten sind. Das k ist dabei die Anzahl der  „Nachbarn“, die ich in Betracht ziehe, also zum Beispiel k = 3, oder k = 10. Dann nehme ich als Kreditwürdigkeit einfach den Mittelwert dieser k-Nachbarn an und fertig ist das Ganze.
Jetzt könnte ich mir noch Gedanken dazu machen, wie denn die Ähnlichkeit berechnet wird (in der Regel einfach mit dem klassischen Distanzmaß (Euklidische Distanz), auch wenn das oft nicht die beste Idee ist…), aber das Prinzip sollte klar sein.
Immanente Probleme des Algorithmus (und des Prinzips machine learning)
Je kleiner ich das k setze, umso größer ist die Gefahr, neue Daten falsch – nämlich basierend auf Zufällen – zu bewerten. Viele Schätzungen werden sehr genau sein, aber viele auch ziemlich falsch.
Je größer ich das k setze, umso gröber wird aber das Raster: Sprich: Alle Prognosen sind mittelmäßig genau, aber keine liegt so ganz daneben.
Hier zeigt sich (an dem simplen Parameter k) das generelle Dilemma des machine learning zwischen Genauigkeit (accuracy) und Robustheit (robustness). Die Lösung, die eine Auflösung des Konflikts verspricht, ist ziemlich einfach: MEHR!
Je mehr Daten ich habe, umso höher kann ich das k setzen und bekomme dennoch sehr genaue Einschätzungen, die jetzt auch noch auf viele neue Fälle zutreffen werden. Wenn wir davon ausgehen, dass die Menschen einfach unsystematisch unterschiedlich sind, dann werden die Prognosen von den echten Werten zwar abweichen, wir können aber die zu erwartenden Abweichungen relativ verlässlich berechnen (zentraler Grenzwertsatz und so…).
Unterstellen wir mal, dass diese Annahme stimmt. 

Selbst dann ergeben sich zwei Probleme in Bezug auf Diskriminierung:

  1. Leute, die irgendwie anders sind, werden falsch eingeschätzt. Durch die Ausweitung der Daten nimmt diese Gefahr zwar relativ ab. Das heißt, ein immer geringerer Prozentsatz von Leuten wird falsch bewertet und die Bewertungen werden in der Summe immer besser. Aber wenn wir von Big-Data sprechen, dann reden wir vielleicht über 10 Millionen Bewertungen im Monat (nur als Beispiel). Bei einer Trefferquote von 99% werden immer noch 100.000 Leute falsch eingeschätzt.
  2. Je größer der Trainingsdatensatz, umso konservativer wird das Modell. D.h.,  Leute werden diskriminiert werden, weil sie Merkmale bestehender Diskriminierung aufweisen. Wenn es – warum auch immer – eine Korrelation zwischen Hautfarbe und Kreditwürdigkeit gibt, wird diese im Modell fortgeschrieben. Dadurch werden aber bestehende Ungleichheiten nicht nur fortgeschrieben, sondern eventuell auch verstärkt: Wer seinen Kredit WEGEN der Prognose zu schlechteren Bedingungen bekommt, kann ihn auch schlechter zurückzahlen und wird den diskriminierenden Effekt für Leute, die ihm ähneln, verstärken.


Aber: Diese Art der Diskriminierung erfolgt ohne Intention! Versucht mal, als Schwarzer in Süd-Texas einen Kredit zu bekommen, das ist auch nicht sehr lustig.

Kommentare

Beliebte Posts aus diesem Blog

Was man an der COVID-Politik über Faschismus lernen kann

Kritiker der Corona-Politik führen immer häufiger den Begriff Faschismus im Munde, um die politischen Maßnahmen zu beschreiben. Einerseits ist damit natürlich eine polemische Ablehnung verbunden: Wer will schon für Faschismus sein? Generell ist der moralische Vorwurf, etwas sei faschistisch oder faschistoid in der demokratischen Auseinandersetzung durchaus geläufig. Dabei wird jedoch meist auf etwas verwiesen, was zum demokratischen Staat dazu gehört und gerade keinen Faschismus begründet: Die Polizei, die das Gewaltmonopol durchsetzt, ist keine faschistische Organisation, ein Parlament, welches Bürgerrechte einschränkt, ist kein Beleg für die faschistische Aufhebung des Rechtsstaats und ein Medienartikel, der dazu aufruft, Bürger sollen Straftäter anzeigen, ist keine faschistische Propaganda, usw. All dies sind Beispiele für das Leben in demokratischen Gemeinwesen. Anstatt die Demokratie also immer gleich auf dem Weg in den Faschismus zu wähnen, wäre es angebracht, sich zu fragen, war...

Kritik an dem Science-Artikel der Priesemann-Gruppe „Inferring change points in the spread of COVID-19 reveals the effectiveness of interventions“

Der Science-Artikel von Dehning et al. (2020) gilt als Beleg für die Effektivität der Corona-Maßnahmen in Deutschland im März 2020. Wir glauben, dass der Artikel gravierende Fehler enthält und daher nichts darüber aussagt, ob insbesondere das Kontaktverbot vom 23.03.2020, irgendeinen Effekt hatte. Unsere Kritik haben wir bei Science eingereicht und sie ist hier zu finden: https://science.sciencemag.org/content/369/6500/eabb9789/tab-e-letters Im folgenden übersetze ich unseren Beitrag und gehe anschließend auf die Frage ein, wie Wissenschaft unter COVID-19-Bedingungen funktioniert und was daran bedenklich ist. Eine Kritik an ‘Inferring change points in the spread of COVID-19 reveals the effectiveness of interventions’ Wir haben den Artikel ‘Inferring change points in the spread of COVID-19 reveals the effectiveness of interventions’ analysiert und dabei gravierende Unstimmigkeiten im Design der Studie festgestellt: Anstatt das Datum der Wendepunkte (wann sich die COVID-19-Entwicklung i...

Der Nutzerismus: Eine Ideologie mit totalitärem Potential

Ich glaube, dass wir derzeit den Aufstieg einer Ideologie erleben, die ich Nutzerismus nennen möchte. Hannah Arendt hat darauf hingewiesen, dass jede Ideologie zu einem totalitaristischen Regime führen kann und es gibt ernste Anzeichen, dass dies auch für den Nutzerismus gilt.  Was ist der Nutzerismus? Wie bei jeder Ideologie ist der Kerngedanke sehr einfach: Im Prinzip gibt es für alle gesellschaftlichen Probleme eine technische Lösung. Leider wenden die Menschen die richtigen Technologien nicht an. Sie nehmen ihre Rolle als Nutzer nicht wahr. Es geht dem Nutzerismus also um das Zusammenspiel von Mensch und Technik, allerdings immer wieder aus der gleichen Perspektive. Die Technik kommt vor als potentielle Lösung eines gesellschaftlichen Problems. Eventuell fehlt die perfekte Lösung noch, aber das ist dann als Auftrag an die Wissenschaft und die Ingenieure zu verstehen. Dieser Technikglaube hat etwas sehr Naives. Er abstrahiert zum Beispiel von allen Interessen, für die Technolog...