“As automated decision-making systems take center stage for distributing rights and services within Europe, institutions across the region increasingly recognize their role in public life, both in terms of opportunities and challenges.”
Wie sieht die öffentliche Verwaltung in 10 Jahren aus, werden wir unsere Anliegen nur noch digital und mit automatisierten Entscheidungen erledigen?
Diese Frage war der Startschuss zur ersten Veranstaltung von Algorithm Watch Schweiz.
Echte Neutralität von ADM - “automated decision making” - gibt es nicht, da wir Menschen unweigerlich implizite normative Annahmen treffen. Also dann: bestmögliche Neutralität. Der grosse Unterschied zwischen Mensch und ADM besteht wohl darin, dass wenn Menschen nicht-neutrale Entscheidungen treffen, diese willkürlicher sind. Aber wenn wir den Algorithmen implizite normative Annahmen zugrunde legen, Diskriminierungen systematisch werden. Natürlich gibt es auch die Möglichkeit - das eigentliche Ziel! -, dass ADM über alle Fälle hinweg neutraler entscheidet als Personen.
Als grosser Treiber kommen die Daten hinzu: Es besteht viel Druck diese zu brauchen, auch aus Verwaltungssicht. Und nur Software kann hier wirklich skalieren. In der Mobilität z.B. sind gerade die nicht-personenbezogenen Daten sehr spannend und könnten auch viel Nutzen generieren, um unsere “Stehzeug”-Mobilität effizienter zu machen.
Die Herausforderungen sind also erkannt. Aber wie könnten die nächsten Schritte aussehen? Wir denken an dieser Stelle laut weiter.
ADM hat also das Potential Entscheidungen neutraler und objektiver zu machen. Technik und Technikverliebtheit werden das aber nicht für uns lösen - sondern im Gegenteil bergen sie die Gefahr, dass wir Diskriminierung oder Vorurteile institutionalisieren. Das Potential realisiert sich nicht von selbst, sondern muss ganz gezielt genutzt werden.
Überall wo also die Software entscheidet müssen wir das Ziel der Software wie auch die Lösungskonzepte der Software, wie dieses Ziel erreicht wird, umso genauer prüfen. Bis jetzt hat “das Business” die Digitalisierung bestimmt und dabei viele öffentliche Themen besetzt. Zur technischen Sicht und der Business-Sicht soll spätestens jetzt die ethische Sicht als verpflichtend hinzustossen. Und genau hier möchten wir gerne weiterdenken: die gezielte Nutzung des Potentials von ADM geschieht zwangsläufig in der konkreten Umsetzung: den IT-Projekten. Ethik muss erstens in die Rollen und Prozesse kommen, z.B. die Rollen Product/Epic/Business Owner in Scrum/SaFE. Oder entsprechenden Rollen die es erst noch zu entwickeln gilt. Zweitens dürfen aus Pilotierungen und Prototypen keine verbindlichen Entscheide gegenüber den Betroffenen entstehen, ausser es gibt ein explizites Opt-in o.ä.. Resultate aus Pilotierungen und Prototypen gilt es genau auf Neutralität und Transparenz zu prüfen bevor Software produktiv gesetzt wird.
Drittens können wir als Gesellschaft nur gewinnen wenn Ethik Schulfach wird, und entsprechende Zertifizierungen üblich werden für IT-Professionelle.
Auch die Gesellschaft muss sich dieses Thema breit aneignen. Neutralität und Transparenz müssen als uns zustehende Rechte bekannt sein und eingefordert werden. So wie z.B. Barrierefreiheit und Datenschutz in das öffentliche Bewusstsein rückten.
Es geht dabei eben nicht nur darum, wie die Ethik in eGovernment und Civic Tech kommt, sondern auch wie Service-Public-Themen vom Business wieder in die Ownership der Verwaltung kommen. Denn der Markt allein hat keinen Anreiz zur Neutralität, während die Menschen starke Anreize haben, einfach das zu nutzen was gut funktioniert. Z.B. Big Tech Maps-Apps für Mobilität. Vielleicht dürfen wir auf Public-Private-Partnerships hoffen, die hier ethisch vorspuren?
Und weil Neutralität immer bestmögliche aber nicht absolute Neutralität sein kann: es ist zumindest Transparenz über ADM zu garantieren. Damit die Betroffenen wenigstens immer wissen, warum ein Entscheid wie ausfällt. Also z.B. warum mir welcher Weg von A nach B vorgeschlagen wird, welches Stelleninserat, welches Produkt oder welches amtliche Formular.
Das ist heute schon nicht der Fall? Genau.