Opvattingen kleuren automatiseringsprocessen
Overheid, ga aan de slag met algoritmen
Siri Beerends is cultuursocioloog
en werkt bij Medialab SETUP
Tekst Siri Beerends
Beeld Sebastiaan ter Burg
Steeds vaker wordt overheidsbeleid gebaseerd op computeralgoritmen, die beslissingen nemen zonder menselijke tussenkomst. Helaas gaan daarbij vaak dingen mis. Er bestaat een diepe kloof tussen de innerlijke logica van bureaucratische software en de juridische en sociale regels die we van waarde achten, aldus Utrechts medialab SETUP. SETUP onderzoekt welke impact nieuwe technologie op onze samenleving heeft.
‘Waarom vinden we het normaal dat we als mens worden vertaald in data?’
SETUP ontwikkelde in samenwerking met filosoof Dirk van Weelden en softwareontwikkelaar Joost Helberg de automatische klaagrobot ‘Paaltje’. Zolang de digitaliserende overheid de burger niet centraal stelt, doen we het zelf wel, dachten ze. Met Paaltje kunnen burgers in een handomdraai bezwaar maken tegen ontwikkelingen in hun buurt. Het apparaat is gekoppeld aan je locatie en signaleert wanneer een bezwaar bij de gemeente wordt ingediend. Als je tegen hetzelfde feit bezwaar wilt maken, druk je op een knop. Vervolgens stuurt Paaltje een bijbehorend klachtenformulier naar je e-mailadres en plaatst een klaagtweet op Twitter.
Door klagen te automatiseren krijgt de digitaliserende overheid een koekje van eigen deeg. Waar ze die aan hebben verdiend? Dankzij toenemende digitalisering kan het zomaar gebeuren dat je onterecht wordt aangewezen als crimineel, of gevangen raakt in een digitaal doolhof van ondoorzichtige computerbeslissingen. Afgelopen september verscheen een alarmerend adviesrapport van de Raad van State over computeralgoritmen die beslissingen nemen zonder menselijke tussenkomst: ‘Iedere te beoordelen situatie wordt tot een zwart-wit tegenstelling gereduceerd, maar de werkelijkheid bestaat voor burgers uit vele tinten grijs.’ Daarom is het volgens de raad noodzakelijk dat een mens beoordeelt wanneer van de regels moet worden afgeweken. Ook moet inzichtelijk worden gemaakt welke beslisregels zijn toegepast op grond van welke data.
Of de overheid de adviezen ter harte neemt moet nog blijken. Tweede Kamerlid Kees Verhoeven (D66) diende vorig jaar een motie in voor meer algoritme-transparantie maar deze is aangehouden in afwachting van twee werkgroepen die nader onderzoek doen. Verhoeven begrijpt het koekje van eigen deeg daarom wel: ‘Paaltje confronteert de overheid met de gevaren voor burgers door het om te draaien. Het laat zien dat naast overheidsregulering mensen ook zelf iets kunnen ondernemen. Behalve transparantie en uitlegbaarheid moeten we goed nadenken in welke situaties we computeralgoritmen inzetten.’
Paaltje werd tentoongesteld tijdens de Privacyrede 2019 van de Amerikaanse hoogleraar Virginia Eubanks in Utrecht
Menselijke toetsing
Onlangs liet de Kamer zich daarover adviseren door de Amerikaanse professor Virginia Eubanks. Zij deed onderzoek naar de manier waarop minderheidsgroepen stelselmatig door algoritmen worden benadeeld. Naar aanleiding van haar advies vindt Verhoeven dat je geen algoritmen moet inzetten wanneer kwetsbare groepen worden benadeeld. ‘In de zorg, het sociale domein en de rechtspraak vind ik het beter om (nog) geen algoritmen te gebruiken.’ Daarnaast vindt Verhoeven dat in bepaalde gevallen automatische besluiten teruggedraaid moeten kunnen worden en dat de overheid fouten moet compenseren. Ook wijst hij op het belang van menselijke toetsing: ‘Aan het eind van de keten moet een menselijke controle zijn ingebouwd. Algoritmes doen dingen die mensen niet kunnen, daarmee besparen we kosten. Met de uitgespaarde kosten kunnen we uitwassen van algoritmes bestrijden door op de juiste plekken mensen in te zetten.’
Universitair docent Marlies van Eck is jurist en promoveerde op automatische besluitvorming bij de overheid. ‘Sommige mensen krijgen te maken met ingrijpende besluiten waarbij een sneeuwbaleffect optreedt en zij van de regen in de drup belanden. Als bewustwordingsmechanisme is Paaltje goed, je wilt over deze problematiek in gesprek.’ Ook Van Eck wijst op het belang van een menselijke blik: ‘Naast transparantie moet meer worden gekeken naar de bijzondere situatie waarin iemand verkeert. Ik was bij een bijeenkomst met filosoof Hans Schnitzler over de vraag waarom we het normaal vinden dat we als mens worden vertaald in data. Veel situaties tussen burger en overheid passen überhaupt niet in een database.’
De oplossing ligt volgens Van Eck dan ook niet in meer data of meer transparantie, maar in meer ruimte om met de overheid in gesprek te gaan: ‘In het buitenland krijg je bijvoorbeeld een brief waarin staat wat de overheid voornemens is te doen, daarna kun je reageren en pas dan wordt een besluit genomen. Door de automatisering is alles zwart-wit gemaakt, daardoor is de behoefte om individuele toestanden aan de kaak te stellen toegenomen, terwijl de mogelijkheden om dat te doen zijn afgenomen.’
Van Eck wijst op een voorbeeld uit 2017 waarin duizenden gezinnen in de financiële problemen kwamen doordat de Belastingdienst ten onrechte hun toeslag had stopgezet: ‘In plaats van informatie op te vragen over de specifieke situaties van deze gezinnen, werd hun toeslag direct stopgezet. Dat zijn onevenredige maatregelen, zeker omdat je met een risicoanalyse bezig bent en het dus niet zeker weet. Anderzijds: dit is ook wat de politiek vraagt, dat er direct actie wordt ondernomen. Dat is de spagaat van de overheid: fatsoenlijk blijven zonder Gekke Gerrit te worden.’
Lui burgerschap
Tegenstanders van Paaltje zijn het oneens met het verlagen van de klaagdrempel: ‘Als er geen verantwoordelijkheid ligt bij de burger om het klachtenformulier te voorzien van menselijke input en eigen onderzoek, is dat lui burgerschap.’ Het Utrechtse gemeenteraadslid Ellen Bijsterbosch (D66) vindt het juist goed dat Paaltje de klaagdrempel verlaagt: ‘Mensen die mondig zijn vinden hun weg, maar er zijn ook mensen die de procedures niet kennen. Zij kunnen geen invloed uitoefenen terwijl ze dat waarschijnlijk wel willen. Paaltje ‘empowert’ een bredere groep burgers.’
Bijsterbosch merkt dat gemeenten zich niet bewust zijn van de politiek gekleurde keuzes die in hun automatiseringsprocessen zitten verwerkt: ‘In Den Bosch experimenteerde de gemeente met algoritmen die bepalen welk type re-integratieproject iemand krijgt aangeboden. Het algoritme bepaalde op basis van tachtig datapunten, waaronder Westers of niet-Wester allochtoon, geslacht en aantal kinderen, of iemand een opleiding krijgt. Als het algoritme bijvoorbeeld constateert dat alleenstaande bijstandsmoeders hun opleiding niet afmaken, kun je vanuit efficiency-oogpunt deze vrouwen beter geen opleiding aanbieden. Maar vanuit feministisch oogpunt en economische zelfstandigheid moeten we vrouwen deze kans niet ontzeggen. Gemeenten denken dat ze een proces aan het automatiseren zijn dat thuishoort bij de woordvoerder ict, terwijl deze beslissing bij de woordvoerder werk en inkomen hoort.’ Bijsterbosch betreurt het dat nog niet op de radar staat dat datagedreven beslissingen politiek vorm te geven vraagstukken zijn. ◼
Hoeveel macht willen we geven aan automatische systemen?
SETUP is een medialab dat de fusie van technologie en cultuur onder de loep neemt. Samen met kunstenaars en ontwerpers brengt het de gevolgen van technologische ontwikkelingen in beeld. ‘Op die manier zwengelen we een discussie aan over de wenselijkheid van automatisering,’ vertelt algemeen directeur van SETUP Jelle van der Ster. ‘Met onze projecten willen we een brede groep kritische mediawijze burgers creëren. Het debat over technologie is te belangrijk om over te laten aan bedrijven en overheden.’
Automatisering en algoritmen spelen een steeds grotere rol in ons leven. De helft van de gemeenten maakt gebruik van algoritmen, de rijksoverheid nog vaker. Ze worden met name gebruikt om risico’s in kaart te brengen. ‘Maar,’ zegt Van der Ster, ‘dat algoritmen objectief zouden zijn is een illusie. Vaak reflecteren ze de meningen of vooroordelen van de persoon die ze heeft geprogrammeerd en leiden daardoor tot foute besluitvorming. Bovendien doen ze geen recht aan de menselijke kant van de zaak. Neem de zorg. Het gevaar is dat we het verlenen van hulp proberen te vatten in taal die machines kunnen lezen. Maar hiermee verlies je een wezenlijk deel van wat zorgverlening is. Met als gevolg de bekende ‘Excel-dictatuur’: je bent meer bezig met het registreren van zorg dan het daadwerkelijk verlenen ervan.’
‘Algoritmen hebben nut,’ aldus Van der Ster, ‘maar moeten mensen niet vervangen. We noemen dat the human in the loop. Dat wil zeggen dat een mens altijd nog invloed kan hebben op een algoritmisch genomen besluit. Zo kun je fouten die in geautomatiseerde systemen zitten voorkomen.’
Politieke keuze
Zoals gezegd werkt SETUP samen met kunstenaars, theatermensen en ontwerpers. Onder de noemer Civil Weapons of Math Retaliation ontwikkelden ze vorig jaar vier projecten waarvan klaagrobot Paaltje er een is. Wat kun je verder doen om inwoners te beschermen tegen de gevaren die het gebruik van algoritmen met zich mee brengt? Een waakhond instellen, zoals Tweede Kamerlid Kees Verhoeven (D66) onlangs voorstelde? ‘Op zichzelf geen slecht idee,’ zegt Van der Ster. ‘Maar je moet je realiseren dat transparantie en inzicht in de werking van algoritmen niet betekent dat de zaken vervolgens goed zijn geregeld. We hebben een Voedsel- en Warenautoriteit maar de bio-industrie bestaat ook nog steeds. Is het maatschappelijk wenselijk om algoritmen in de zorg, het sociale domein of de rechtspraak in te zetten? Hoeveel macht willen we geven aan automatische systemen? Dit is een politieke keuze, daarover doet zo’n waakhond geen uitspraak.’
‘Het is belangrijk,’ gaat hij verder, ‘dat juist overheden zich bezig houden met de vraag welke beslissingen algoritmen voor ons mogen maken. In plaats van ‘wat kunnen we’ en ‘wat mogen we’ moeten we nadenken over ‘wat willen we’. Hoe eerder dat gebeurt, hoe beter. En als inwoners of hun vertegenwoordigers erbij worden betrokken, ook nog: hoe democratischer.’ ◼
Deel dit artikel