13.07.2023
Die Gestaltung digitaler Innovationen steht im Zentrum des Zukunftslabors Gesellschaft & Arbeit. Dies schließt die Entwicklung von Plattformen wie Social-Media-Kanälen oder Online-Shops ein. Neben offensichtlichen Aspekten wie der Bedienbarkeit spielen auch Prozesse, die im Hintergrund ablaufen, eine zentrale Rolle. Dazu zählt insbesondere die Speicherung und Verwendung der Nutzer*innendaten. Immer mehr Unternehmen verwenden die Daten der Nutzer*innen, um personalisierte Services auszuspielen. Dazu werden Verhaltensdaten über die Nutzer*innen erhoben und nach bestimmten Prinzipien geordnet und verwendet. Um die Privatsphäre bei der Personalisierung zu schützen, werden die Daten anonymisiert, sodass sie nicht zu einer konkreten Person zurückverfolgt werden können. Die Anbieter der Plattformen machen sich dabei das Ordnungsprinzip der Nachbarschaften zunutze. Die Datensätze werden als sogenannte Datennachbarschaften gruppiert, was bedeutet, dass Personen mit ähnlichen Charakteristika – wie Kauf- und Klickverhalten – in einem Set zusammengefasst werden. Durch die Gruppierung von Ähnlichkeiten soll die Anonymität der Einzelnen geschützt werden. Datenschützer*innen haben jedoch darauf hingewiesen, dass durch die gesteigerte Ansammlung von Daten sowie die Möglichkeit, unterschiedliche Daten zu kombinieren, diese Art der Anonymität nicht als robust angesehen werden kann. Doch dies ist nicht das einzige Problem, dass vermeintlich anonyme Datennachbarschaften mit sich bringen.
Über einen Forschungsaufenthalt in Kanada erhielten die Wissenschaftler*innen des Zukunftslabors Zugang zu einer bisher unveröffentlichten Studie, in der es um die Entstehung des Nachbarschaftsprinzips „Homophilie“ geht. Dieses Prinzip wird heutzutage für Empfehlungsalgorithmen verwendet. In der Studie geht es um Freundschaftsnetzwerke in zwei Wohnprojekten. Die Studie beschreibt zwei soziale Konzepte, die zur Bildung von freundschaftlichen Beziehungen zwischen Nachbar*innen beitragen: „Gleiches und Gleiches gesellt sich gern“ (Homophilie) und „Gegensätze ziehen sich an“.
Von diesen beiden Konzepten hat sich nur das Prinzip der Homophilie in der Entwicklung digitaler Netzwerke und ihren Personalisierungsalgorithmen durchgesetzt. Das ist deshalb problematisch, weil personalisierte Dienste (wie z. B. Kaufempfehlungen) Nutzer*innen zu Gruppen mit ähnlichen Interessen zusammenfassen – sogenannte Datennachbarschaften. Dadurch wird Vielfalt/Andersartigkeit ausgeschlossen, z. B. indem bestimmte Produkte gar nicht erst angeboten werden. In diesem Zusammenhang werden Phänomene der systematischen Datendiskriminierung deutlich. Daher sollte das Prinzip der Anonymität und der homophilen Datennachbarschaften neu gedacht werden, um Diskriminierung in digitalen Technologien entgegenzuwirken.
Vertrauenswürdigkeit von Künstlicher Intelligenz
Um Daten von Nutzer*innen in großen Mengen auswerten zu können, werden oftmals Methoden der Künstlichen Intelligenz (KI) angewendet. KI wird häufig bezüglich ihrer Vertrauenswürdigkeit kritisiert, weil sie einige Unzulänglichkeiten aufweist. Dazu zählt z. B., dass KI ihre Handlungen und Empfehlungen nur begrenzt erklären kann, oder dass teilweise bestimmte Personen(gruppen) ungerecht behandelt werden. Aspekte, die zur Vertrauenswürdigkeit beitragen, sind Fairness (Wie wird sichergestellt, dass die KI Menschen nicht benachteiligt bzw. diskriminiert?), Robustheit (Wie empfindlich reagiert der Output der KI auf Änderungen des Inputs?), Interpretierbarkeit/Erklärbarkeit (Kann die Entscheidung/Empfehlung einer KI begründet werden?), Datenschutz (Wie kann die Privatsphäre der Nutzer*innen gewährleistet werden?), Sicherheit und Auditierung (Welche Risiken bestehen für Menschen?).
Die Wissenschaftler*innen des Zukunftslabors Gesellschaft & Arbeit erstellten ein Survey zum Thema „Kausalität für vertrauenswürdige KI“. Ein Survey gibt einen Überblick über aktuelle Forschungsinhalte innerhalb eines Forschungsgebietes. Dies dient einem besseren Verständnis für das Forschungsgebiet und soll andere Wissenschaftler*innen zum Forschen animieren. Das Survey beleuchtet, wie man KI mit dem Konzept des kausalen Denkens vertrauenswürdiger machen kann. Es wird dargestellt, wie Wissenschaftler*innen es geschafft haben, mittels Kausalität KI-Systeme interpretierbarer, fairer, robuster, die Privatsphäre besser schützend und sicherer zu gestalten. Es werden verfügbare Datensätze, Werkzeuge und Pakete aufgelistet, die für die kausalitätsbasierte Forschung und Entwicklung vertrauenswürdiger KI relevant sind. Um einen Einblick zu geben, was Kausalität in diesem Zusammenhang bedeutet, wird ein Beispiel aus der Robustheit vorgestellt: Hier besteht das Problem der KI darin, falsche Zusammenhänge bei der Auswertung von Daten zu nutzen, wenn die Datengrundlage verändert wird.
Ein anschauliches Beispiel ist ein Foto von einer Kuh auf einer Wiese. Wenn die KI mit verschiedenen Fotos trainiert wird, auf denen Kühe in unterschiedlen Positionen und Farben auf einer Wiese abgebildet sind, dann kombiniert die KI den Hintergrund – also die Wiese – mit der Identifizierung der Kuh. Wenn die Datengrundlage verändert wird – eine Kuh an einem Strand – erkennt die KI die Kuh nicht mehr, da sie einen falschen kausalen Zusammenhang für die Interpretation genutzt hat. Mit Kausalität im Sinne der Robustheit ist also gemeint, dass die KI die Aufgabe exakt verstehen und lernen muss, dass für die Erkennung der Kuh nicht der Hintergrund des Bildes entscheidend ist.
Im kommenden Jahr werden die Wissenschaftler*innen Experimente durchführen, um kausale Ansätze für die Robustheit von KI näher zu erforschen.
Verhandlungen mit einer KI
In vielen Verhandlungssituationen (Gehaltsverhandlungen, Kreditverhandlungen) sind KI-Systeme in der Lage, präzise Vorhersagen zu treffen und für bessere Ergebnisse zu sorgen. Trotz dieser Potenziale hegen Menschen Abneigungen gegen KI-Systeme und beschränken somit die Anwendung von KI in einigen Domänen. Daraus ergibt sich eine Frage: Lehnen Menschen KI ab, weil sie eine (wirtschaftliche) Benachteiligung durch die KI-Systeme befürchten? Glauben Arbeitnehmer*innen z. B., dass ihre Verhandlungsposition geschwächt wird und sie weniger Gehalt verlangen können? Oder sind andere, weniger materielle Gründe die Ursache für die Ablehnung? Hier setzt die Studie des Zukunftslabors Gesellschaft & Arbeit an, mit der die Wissenschaftler*innen im vergangenen Jahr begonnen hatten. Im Fokus steht die Frage, ob ökonomische Erwartungen Präferenzen für oder gegen algorithmische Systeme in ökonomischen Verhandlungen erklären können.
Bei der Studie können die Proband*innen entweder mit einem Menschen, mit einem Menschen + KI-Entscheidungshilfe oder mit einem autonomen KI-System über Geld verhandeln. Die Wissenschaftler*innen dehnten ihren Untersuchungsumfang aus und führten die Studie mit 480 Teilnehmer*innen durch. Sie prüften, ob der ökonomische Eigennutz (also wie viel Geld die Verhandlung einbringt) die Präferenzen für oder gegen die Verhandlung mit einer KI beeinflusst. Die Proband*innen wurden unterteilt in zwei Gruppen. Die eine Hälfte erhielt eine Geldsumme und sollte ein Angebot unterbreiten, dieses aufzuteilen – zur Vereinfachung werden diese Proband*innen im folgenden Text „Arbeitgeber*innen“ genannt. Die andere Gruppe – vereinfacht „Arbeitnehmer*innen“ genannt – sollte entscheiden, ob sie das Angebot annehmen oder ablehnen.
Um die ökonomischen Erwartungen zu benennen, sollten die „Arbeitnehmer*innen“ vor der Verhandlung einschätzen, bei welchen Verhandlungspartnern (Mensch/Mensch + KI/KI) sie vermutlich wie viel Geld aushandeln würden. Zusätzlich sollten sie einschätzen, zu wie viel Prozent ihre Vermutung eintreffen wird. Die Einschätzungen sollten für alle drei Verhandlungspartner vorgenommen werden. Die „Arbeitgeber*innen“ sollten ebenfalls vor der Verhandlung einschätzen, wie viel Geld die „Arbeitnehmer*innen“ verlangen würden und mit welcher Wahrscheinlichkeit ihre Einschätzung eintreffen wird. Außerdem sollten sie einschätzen, ob die „Arbeitnehmer*innen“ ihr Verhalten ändern, wenn sie mit einem Menschen oder mit einer KI verhandeln. Im Anschluss verglichen die Wissenschaftler*innen die Erwartungen der Proband*innen (sowohl Arbeitnehmer*innen als auch Arbeitgeber*innen) mit dem tatsächlichen Verhandlungsergebnis.
49 % der Arbeitnehmer*innen erwarteten ein höheres Gehalt, wenn sie mit einer KI verhandeln. Jeweils ein Viertel der Befragten gab an, das Gehalt in der Verhandlung mit einem Menschen bzw. mit einem Menschen + KI-Unterstützung zu steigern. Obwohl sich also knapp die Hälfte von einer KI mehr Gehalt erhoffte, entschieden sich 52 % der Arbeitnehmer*innen für die Verhandlung mit einem Menschen.
Die Studie zeigt: Je stärker der Einfluss des KI-Systems in der Verhandlung, desto weniger Erklärungskraft haben ökonomische Erwartungen der Arbeitnehmer*innen für die Wahl des Verhandlungspartners. Während die Mehrheit der Arbeitnehmer*innen, die angaben, ihr Einkommen mit dem menschlichen Partner maximieren zu können, auch den menschlichen Partner für die Verhandlung auswählten, fiel der Anteil für das autonome KI-System auf 12 %. Es scheint also, als würden die Proband*innen ihr ökonomisches Eigeninteresse überschreiben, um die Verhandlung mit dem KI-System zu vermeiden. Demnach begründen sich menschliche Aversionen gegenüber KI-Systemen in sozialen – statt ökonomischen – Faktoren.
Auffällig war, dass die Proband*innen, die mit einer KI verhandelten, deutlich mehr Geld forderten als diejenigen, die mit einem Menschen bzw. mit einem Menschen + KI verhandelten. Dieses Verhalten hatten die Arbeitgeber*innen in ihrer im Vorfeld getätigten Einschätzung prognostiziert. Die Ergebnisse zeigen, dass die Einführung algorithmischer Systeme nicht durch monetäre Anreize gesteuert werden kann und dass der Einsatz von KI die menschliche Entscheidungsfindung verändert.
Im kommenden Jahr werden die Wissenschaftler*innen die Verhandlungsstudie fortführen und die sozialen Variablen untersuchen, die das ökonomische Eigeninteresse überschreiben. Zudem werden sie sich mit der Abneigung gegen Algorithmen beschäftigen. Sie werden analysieren, wie Menschen auf verschiedene Fehlertypen von KI-Modellen reagieren und wie sich die Fehler auf die Nutzung der Modelle auswirken.
