INTERVIEWALEID WOLFSEN

‘Bij zo’n beetje elke tegel die we lichten, ontdekken we discriminerende algoritmen bij de overheid’, zegt de Autoriteit Persoonsgegevens

Er is ‘bitter weinig veranderd’ sinds de toeslagenaffaire, stelt Aleid Wolfsen, de voorzitter van de Autoriteit Persoonsgegevens. Overal waar de privacywaakhond zoekt, verschijnen discriminerende algoritmen. Hoe kan dat?

Frank Rensen

2 juli 2024, 05:00

W

oon je in een woonwagenpark en vraag je een bijstandsuitkering aan? Dan kan een algoritme van de gemeente jou als potentiële fraudeur bestempelen. Doet je zoon een mbo-opleiding en vraagt hij een studiebeurs aan? Dan kan een algoritme van uitvoeringsinstantie DUO hem zomaar apart nemen wegens vermeend frauderisico – zijn zus, die dezelfde aanvraag doet maar aan de universiteit studeert, wordt er niet uitgeplukt.

‘Het is gewoon discriminatie’, zegt Aleid Wolfsen, de voorzitter van de Autoriteit Persoonsgegevens. Maar zeg dat tegen de programmeur die de maatregelen vastlegde in computercode en die is zich vaak van geen kwaad bewust. Dan volgt volgens Wolfsen doorgaans een verbaasde reactie: ‘We selecteren toch niet op religie of etniciteit?’

Over de auteur

Frank Rensen is wetenschapsjournalist en schrijft voor de Volkskrant over technologie, van cybersecurity en wetgeving tot games en cryptovaluta.

Precies dit soort opsporing van fraude – het aanwijzen van risico’s zonder dat daar directe aanleidingen voor zijn, op basis van in algoritmen vastgelegde discriminerende onderbuikgevoelens – leidde tot de toeslagenaffaire. Maar, schrijft Wolfsen in het voorwoord van het nieuwste jaarverslag van de Autoriteit Persoonsgegevens: ‘In 2023 werd ons pijnlijk duidelijk dat iedereen weliswaar geschokt is door de toeslagenaffaire, maar dat er nog bitter weinig veranderd is.’

Aleid Wolfsen, voorzitter van de Autoriteit Persoonsgegevens.Beeld Freek van den Bergh / de Volkskrant

Waar ziet u dat aan?

‘Overal waar we in prikken, zien we dat het fout zit. Dat er dus algoritmen worden gebruikt die mensen met bepaalde kenmerken categoriseren als ‘een risico’, zonder dat zij iets concreets hebben misdaan. Een aantal voorbeelden is al aan het licht gekomen, bijvoorbeeld dat DUO je opleidingsniveau en woonplaats als risicofactoren beschouwt, of dat vier Utrechtse gemeenten het beroep kapper als risicofactor zien.

‘Ook onderzoeken wij het vermoeden dat het ministerie van Buitenlandse Zaken etnisch profileert bij visumaanvragen. Een ander lopend onderzoek, waarvan ik geen details kan geven, gaat over een bedrijf dat een zelflerend algoritme gebruikt voor risicoselectie. Dat is echt taboe, omdat het na verloop van tijd niet meer is te achterhalen waarom zelflerende systemen tot bepaalde conclusies komen – ze hebben zichzelf een methode aangeleerd, los van menselijke inbreng. In het ergste geval kan het gebeuren dat er iemand bij je aanbelt met het bericht dat er een onderzoek naar je is begonnen. Maar wanneer je dan vraagt waarom, moet een bedrijf of instelling bekennen dat ze dat zelf eigenlijk ook niet weet.

‘Precies zo’n zelflerend en discriminerend algoritme is in het verleden al aangetroffen bij het ministerie van Sociale Zaken en Werkgelegenheid. Het ging gepaard met een systeem dat je bezit van een hond of aanhangwagen kon aanwijzen als risicofactor voor fraude bij aanvraag van een uitkering. De rechtbank oordeelde dat dit onrechtmatig is, maar wij treffen varianten ervan nog steeds aan. Dat bedoel ik als ik zeg dat er nog bitter weinig is veranderd.

‘Het feit dat we bij elke tegel die we lichten dit soort systemen vinden, baart me zorgen. Waarschijnlijk wordt er dus op grote schaal gediscrimineerd.’

Hoe kan het dat de ophef rond de toeslagenaffaire kennelijk niet tot verandering in het gebruik van algoritmen heeft geleid?

‘De instellingen die ik net noemde, hebben allemaal hun eigen algoritmen moeten onderzoeken voordat wij om de hoek kwamen kijken. Geen van hen trof iets kwalijks aan. Je kunt natuurlijk zeggen dat dat komt doordat iemand die zichzelf onderzoekt nooit iets fouts ziet. Maar volgens mij zit het probleem dieper: uit onze gesprekken met betrokkenen blijkt dat ze zelf niet zien dat ze discrimineren. Misschien zien ze het niet omdat ze zelf nooit slachtoffer van discriminatie zijn geweest. We ontmoetten bij instellingen geen slechte mensen, maar ze doen wel slechte dingen.’

Wie zijn ‘ze’?

‘De programmeurs van algoritmen, de juristen met kennis van wat wel en niet in die algoritmen mag staan en de leidinggevenden van deze twee groepen. Juristen en programmeurs bevinden zich nu nog te veel op eilanden, zonder met elkaar te communiceren. Computertaal en de wet zijn twee verschillende kennisgebieden, maar ik ben van mening dat een programmeur niet zonder juridische scholing aan het werk mag met deze systemen. Andersom geldt dat ook: een jurist die bijvoorbeeld bij de Autoriteit Persoonsgegevens komt werken, zetten we direct in de lesbanken om te leren over de digitale wereld.

‘Discriminerende algoritmen kunnen blijven bestaan omdat het sociaal geaccepteerd wordt om technische vakkennis weg te zetten als iets voor techneuten alleen. Ik heb zelf eens een hoge leidinggevende van een instelling horen zeggen ‘van die technische wereld maar niets te begrijpen’. Hij deed daar lacherig over, alsof het iets doodnormaals was. Dat kan écht niet.’

Wat is daarvan het gevolg, wat treffen jullie concreet aan in die algoritmen?

‘Tijdens onze onderzoeken krijgen we toegang tot elke regel computercode waar een algoritme uit bestaat. Daarin zien we ongrondwettelijke rekensommen. Dat het risico dat iemand kan gaan frauderen, wordt berekend aan de hand van een reeks factoren zoals opleidingsniveau. Dat een mbo-opleiding dan ‘zwaarder’ weegt dan een wetenschappelijke opleiding, zoals het geval was bij DUO.

‘Wij zien naïviteit over de ongrondwettelijkheid hiervan en we zien onvoldoende betrokkenheid van leidinggevenden. Dat is, in het beste geval, incompetentie. Daar moet meer vangrails voor zijn. Meer scholing, meer toezicht: de Autoriteit Persoonsgegevens moet daarbij eerder worden betrokken.

‘Het probleem zit er vooral in dat computercode nog steeds wordt gezien als een opzichzelfstaande tekst, alleen bedoeld voor de ogen van programmeurs. Maar in feite zijn deze codes niets anders dan bijvoorbeeld een op papier geschreven besluit van de Tweede Kamer.

‘Als er vroeger een wet werd opgesteld die leidde tot controle van burgers, dan kreeg de Tweede Kamer een velletje papier opgestuurd met daarop de controlecriteria. Vervolgens beoordeelden Kamerleden of die criteria wel wetmatig waren. Dat gebeurt nu niet meer op papier, maar in programmeertaal, maar geen Kamerlid krijgt dat te zien.’

Code is wet, luidt een gezegde uit de vroege jaren van internet: in de digitale wereld tellen niet de wetten van overheden, maar telt code, geschreven door programmeurs. Is dat wat we hier zien?

‘Zeker. Er heerst haast een soort magie rondom computercode in de politiek, die velen doet wegkijken. Ik heb een minister weleens horen zeggen: ‘Wat we nu bespreken, is allemaal geprogrammeerd, en code mag ik natuurlijk niet delen.’ Dat is onzin, die manier van denken mogen we nooit accepteren. In de gemeente Amsterdam heeft precies zoiets gespeeld. Dat er op basis van programmatuur bepaalde wijken in de gaten werden gehouden, en de burgemeester de relevante code niet wilde delen. Een raadslid kon dat vervolgens tóch opvragen.

‘Er zijn enkele Kamerleden die ervoor pleiten dat computercode ook altijd langs de Tweede Kamer, de Provinciale Staten of de gemeenteraad moet gaan zodra beleid tot zulke code leidt. Ik kan me voorstellen dat sommige computercode vertrouwelijke informatie bevat, zoals plannen van de politie om onverwacht bepaalde invallen uit te voeren, maar dat is geen reden om Kamerleden belangrijke code te onthouden – zij hebben de hele dag vertrouwelijke informatie in handen.’

Deze ‘magie’ rondom computercode, zoals u het noemt, lijkt een te groot probleem om slechts aangekaart te worden door enkele Kamerleden.

‘Het moet een veel groter debat zijn. Eigenlijk zou een Kamerlid of de vaste Kamercommissie voor Digitale Zaken moeten zeggen: er moeten techneuten in dienst zijn van de Kamer die de computercode bestuderen die uit een besluit voortvloeit. Net zoals juristen kijken naar wetsvoorstellen op papier. Maar het toezicht houdt nu op bij dat papieren plan, terwijl wij zien dat er nog van alles kan veranderen tussen een ‘papieren’ wet en de code die die wet uitvoert.

‘Zo bezien ligt het voor de hand dat de toeslagenaffaire zich kan herhalen: de Kamer schrijft iets, een programmeur probeert dat te vertalen, waarbij de intentie kan vervormen. En niemand kijkt er meer naar: de Kamer laat het lopen, uitvoeringsdiensten als DUO laten het lopen, en bezwarencommissies en de rechter ook.’

Waarom zit de Autoriteit Persoonsgegevens niet standaard in die keten, om te toetsen of een code niet discrimineert?

‘Ik ben het met u eens. Dat is de kern van ons bestaan. Dat het niet gebeurt, komt door de beperkte capaciteit van de Autoriteit Persoonsgegevens. We onderzoeken discriminerende algoritmen eigenlijk maar minimaal ten opzichte van onze andere verplichtingen: we kregen vorig jaar zo’n twintigduizend klachten binnen over allerhande onderwerpen, daarnaast 25 duizend meldingen van datalekken en we moesten 86 keer advies geven over verwerking van persoonsgegevens in wetsvoorstellen.

‘Het onderzoek van de parlementaire enquêtecommissie naar fraudebestrijding in Nederland concludeerde begin dit jaar dat de Autoriteit Persoonsgegevens een hoger budget moet krijgen om de rechtsstaat te versterken. Als de Tweede Kamer die conclusie overneemt, kunnen wij een actievere rol gaan spelen in deze keten: meer onderzoeken en steekproeven uitvoeren en meer voorlichting geven aan de overheid over het raakvlak van persoonsgegevens, algoritmen en de Grondwet.’