Ik wil..
In maart 2023 onthulden onderzoeksjournalisten van o.a. Argos en Follow the Money dat de gemeente Rotterdam bijstandsfraude probeerde op te sporen met behulp van ‘slimme’ algoritmes. Maar er was een probleem: sommige groepen werden vaker gecontroleerd dan andere. Vooral jonge moeders en slecht Nederlands sprekende mensen bleken het doelwit te zijn. Geen eerlijk algoritme dus, concludeerden de journalisten.
Hoe dat kwam? De fraudejagers kunnen niet íedereen die in de bijstand zit ieder jaar controleren. Alleen in Rotterdam al gaat het om 30.000 mensen. De gemeente wilde graag zo efficiënt mogelijk controleren en daarmee zoveel mogelijk fraudeurs betrappen. Dus besloten ze een algoritme te ontwikkelen dat voorspelt hoe groot de kans is dat iemand fraudeert. De mensen die daarop hoog scoren, werden vaker gecontroleerd.
De journalisten wisten na te gaan hoe de algoritmes tot stand waren gekomen (best bijzonder, want bij bijvoorbeeld het Toeslagenschandaal is dat tot op heden niet gelukt). Net als bij etnische profilering door politie en marechaussee, bleek deze algoritmische profilering niet aan de haak. Zo maakte het algoritme geen onderscheid tussen boze opzet en onbedoelde vergissingen die mensen maken.
Doordat het systeem werd gevoed met relatief veel gevallen uit een specifieke bevolkingsgroep, scoorden steeds mensen uit deze groep hoog op het risicoprofiel. Er ontstond een feedback loop. Als een groep vaker gecontroleerd wordt, is de pakkans in deze groep immers hoger. En hoe vaker in die groep iemand gepakt is, hoe vaker er gecontroleerd wordt, hoe groter de pakkans – en ga zo maar door. Zo kom je terecht in een vicieuze cirkel.
Lees hier het verhaal hoe Argos-journalist Reinier Tromp te werk ging.
Feedback loop: De data waarop het systeem getraind wordt, komen telkens uit dezelfde hoek, bijvoorbeeld uit dezelfde wijken. Daardoor lijkt het op den duur alsof risico op fraude alleen in die wijken speelt. “Waar je je zoeklicht op richt, bepaalt in hoge mate wat je vindt”, aldus computerwetenschapper Cynthia
Onderzoeksjournalisten van Argos, Lighthouse Reports, Vers Beton en Follow The Money vroegen de gemeente Rotterdam in een Woo-verzoek om documenten over de werking van het ‘slimme’ fraude-algoritme. Hieruit bleek dat het algoritme meer dan driehonderd variabelen meewoog voor de risicoscore. Het gaat om gegevens die de gemeente registreert in het kader van de bijstand, zoals leeftijd, geslacht, woonwijk, spreektaal, etc. Ook de samenlevingsvorm van een bijstandsgerechtigde, het aantal kinderen en het leeftijdsverschil tussen ouder en het oudste kind tellen zwaar mee voor de risicoscore. Dat geldt eveneens voor de aard en het verloop van de contacten met de gemeente. Zo weegt mee of er contact is geweest per e-mail of per telefoon en zelfs het aantal woorden dat is genoteerd bij een afspraak.
AI is hier het onderwerp van het onderzoek. Het is voor het eerst dat journalisten een ‘slim’ fraude-algoritme in zijn geheel onder de loep nemen. Op basis hiervan bepaalt de gemeente Rotterdam welke circa 1.000 mensen van de in totaal 30.000 bijstandsgerechtigden zij extra controleert. Tussen 2017 en 2021 werden duizenden Rotterdammers geanalyseerd door een algoritme dat bijstandsgerechtigden een risico-score gaf met een inschatting hoe groot de kans is dat ze met hun achtergrond, eigenschappen en gedrag fraude zouden plegen.
Dit onderzoeksverhaal heeft alles te maken met de waakhondfunctie van de journalistiek. Waar overheden met gebruik van algoritmes willekeurige burgers als potentiële fraudeverdachten profileren en hun privacy aantasten, moeten journalisten dit aan de kaak stellen. Overheidsdiensten zullen niet snel uit zichzelf openbaar maken met welke data zij hun algoritmes voeden. Maar de Wet Open Overheid (Woo, voorheen Wob) biedt journalisten de mogelijkheid om informatie over het gebruik van ‘slimme’ algoritmes door overheidsdiensten op te vragen. Het is geen informatie die overheden uit zichzelf openbaar hoeven te maken, en bij privacygevoelige informatie mogen zij dit ook niet. Journalisten kunnen wel een Woo-verzoek indienen naar variabelen die zijn gebruikt voor een algoritme. Maar zelfs dan kan het lastig zijn om inzicht te krijgen. Veel algoritmische systemen worden namelijk niet door overheden zelf opgeleverd, maar door externe ontwikkelaars. Vaak beschouwen zij de code als intellectueel eigendom, dat ze niet zo maar met derden delen.
project van Hogeschool Utrecht
gemaakt door Wilfred Hoogendoorn
contactinformatie
Heb je ideeën of voorbeelden voor deze website of wil je samenwerken?
Neem contact op via
journalistiek-en-ai @journalismlab.nl
Ik wil..