Algorithm Transparency Bill NYC: Algorithmus-Transparenz-Gesetz

Entscheidungen, die früher von Menschen getroffen wurden, werden heute durch Algorithmen getroffen. Das liegt vor allem auch daran, dass es heute deutlich mehr Daten über Verbraucher gibt. Die letzten Jahre wurden von einer kontinuierlichen Diskussion über die Vorteile und Herausforderungen begleitet, die mit der zunehmenden Nutzung von Big Data-Analysen einhergehen. Eines der umstrittensten Themen: Wie soll sichergestellt werden, dass die zunehmende automatisierte Entscheidungsfindung nicht zu unlauteren, unethischen oder diskriminierenden Auswirkungen für die Verbraucher führt?

James Vacca, New York City Council Member, schlug einen Gesetzesentwurf vor, der die Stadt dazu verpflichten würde, jegliche Computeranweisungen, die unsichtbar im Hintergrund in allen Regierungsentscheidungen verwendet werden, öffentlich und transparent zu machen.

Yung-Mi Lee, Supervising Attorney in the Criminal Defense Practice at Brooklyn Defender Services (BDS):

“The arrival of the digital age in the criminal legal system has been heralded by technology entrepreneurs, law enforcement leaders, and some academics, but it presents a series of new threats to the liberty and well-being of our clients that warrant deeper investigation.”

Regierungen haben Zugang zu gigantischen Datenmengen. Algorithmen können entscheiden, auf welche Schule Kinder gehen werden, wie oft der Müll abgeholt werden muss, welcher Polizeistation wie viele Beamte zugeteilt werden und welche Kriterien für die Bewertung von Lehrern herangezogen werden.

James Vacca:

“To this day, I don’t know what is the formula the police use to determine how many officers are in every station house.” 

Beispielsweise entscheidet ein Algorithmus, dass ein Kind auf eine Schule gehen soll, die relativ weit von der elterlichen Wohnung entfernt ist, anstatt das Kind auf eine der vielen Schulen in unmittelbarer Nähe zu schicken. Hier fragen Eltern zurecht, aufgrund welcher Kriterien eine solche Entscheidung getroffen wird. Der neue Gesetzesentwurf soll Transparenz schaffen, damit die Betroffenen die Entscheidungen von Algorithmen nachvollziehen können.

James Vacca:

"In our city, it is not always clear when and why agencies deploy algorithms, and when they do, it is often unclear what assumptions [those algorithms] are based upon and what data they even consider."

Welchen Effekt haben Algorithmen auf die Gesellschaft, wenn sie uns so viele Entscheidungen abnehmen?

Einfach gesagt ist ein Algorithmus eine Sammlung von Codes. Sie werden eingesetzt, um massive Datenmengen zu analysieren und so Muster zu identifizieren, Empfehlungen auszusprechen und Prognosen für die Zukunft zu erstellen. Sie können helfen, menschliche Fehler zu reduzieren, jedoch können sie auch dazu beitragen, dass existierende Ungleichheiten verstärkt oder bestehen bleiben. Obwohl Algorithmen anscheinend von Natur aus neutral sind, erfordert jeder Schritt bei der Erstellung eines Algorithmus, dass der Programmierer Entscheidungen trifft. Infolgedessen sind Algorithmen anfällig für menschliche Voreingenommenheit, schlechtes Urteilsvermögen, unvermeidbare Kompromisse und unvorsichtige oder unvorhergesehene Fehler in jedem Stadium der Entwicklung und Verwendung. Darüber hinaus spiegeln die Daten, mit denen Algorithmen trainiert werden, häufig bestehende Diskriminierungen und Disparitäten wider. Demzufolge werden Algorithmen oft selbst voreingenommen sein.

Das vorgeschlagene Gesetz Vaccas zielt nicht darauf ab, den Gebrauch von Algorithmen zu verbannen, sondern die Algorithmen der Allgemeinheit zur Untersuchung und für Tests zur Verfügung zu stellen. So soll es der Gesellschaft ermöglicht werden, die Entscheidungen von Algorithmen besser nachzuvollziehen und verstehen zu können.

Elizabeth Glazer, director of the Mayor’s Office of Criminal Justice:

“The big change for us is really just to make the process as open as possible, to ultimately post the data that underlies the tool publicly so that people can see for themselves how the tools operate.”

Doch die Gestaltung von algorithmischer Transparenz ist nicht einfach umzusetzen: Denn, selbst wenn ein Unternehmen einen geschützten Algorithmus für die Öffentlichkeit freigeben würde, wäre die Aufgabe des Verstehens und Reagierens äußerst schwierig. Es ist unwahrscheinlich, dass Verbraucher und politische Entscheidungsträger verstehen, was ein Algorithmus sagt oder bedeutet, er würde wahrscheinlich im Laufe der Zeit, oder als Reaktion auf neue Dateneingaben ständig geändert werden, und es wäre schwierig zu entscheiden, wie man Unfairness misst. Diese Herausforderungen können selbst Unternehmen, die sich mit der Vermeidung von Diskriminierung beschäftigen, verunsichern.

Testimony of Julia Stoyanovich:

“To facilitate transparency, the result of the self-test program should be interpretable, insightful and actionable.  For example, suppose that software is used to score and rank individuals for access to a service.  If a user enters her data and receives the result -- a score of 42 -- this will not explain to the user why she was scored in this way, how she compares to others, and what she can do to potentially improve her outcome.”

Abgesehen davon, wie man die Algorithmen der Allgemeinheit zur Verfügung stellen kann, gibt es noch weitere Aspekte, die beachtet und diskutiert werden müssen, bevor das Gesetz in Kraft treten kann. Unternehmen machen sich Sorgen, wie sie ihre Eigentumsrechte an ihren Algorithmen schützen können, wenn sie diese komplett transparent und für jeden zugänglich machen sollen. Des Weiteren muss diskutiert werden, ob durch die Transparenz potenzielle Sicherheitsrisiken entstehen.

Claire Fontaine, Forscherin bei Data & Society, einer New Yorker Expertenkommission:

“Whether and how such tensions get resolved could have national implications.”

Der Gesetzesentwurf in seiner aktuellen Fassung ist knapp formuliert und beinhaltet bis jetzt zusammengefasst, dass Behörden ihre Quellcodes online zur Verfügung stellen müssen und diese Benutzern so zur Verfügung stellen, dass sie durch die Eingabe ihrer Daten eigene Tests mit diesen Algorithmen durchführen können und ihnen auch die Ergebnisse dieser Tests mitgeteilt werden.

Aktuell gibt es noch viele Zeugenaussagen zur Fassung des Entwurfs und es ist davon auszugehen, dass sich der Entwurf noch ändern wird, bevor er in Kraft tritt.