AI wordt steeds vaker ingezet om gezichten te herkennen. Niet alleen als veiligheidsmaatregel, maar bijvoorbeeld ook op universiteiten om fraude te voorkomen. En dat gaat niet altijd goed.
Ik wil..
AI wordt steeds vaker ingezet om gezichten te herkennen. Niet alleen als veiligheidsmaatregel, maar bijvoorbeeld ook op universiteiten om fraude te voorkomen. En dat gaat niet altijd goed.
Tijdens de coronapandemie gebruikte de Universiteit van Amsterdam de surveillancesoftware Proctorio die draait op de computer van de student. De software controleert of studenten niet frauderen. Want toen zij tentamens vanuit huis maakten, was spieken anders wel érg gemakkelijk.
Naomi Appelman, Jill Toh en Hans Zwart schreven er een kritisch stuk over in het Parool. “Studenten worden verplicht een soort spyware te installeren die via de webcam en microfoon hun gedrag controleert en in de gaten houdt of er geen andere programma’s open staan dan de tentamensoftware. Nadat een student zichzelf met de camera heeft geïdentificeerd en heeft laten zien dat er in de kamer niets is dat zou kunnen helpen bij het tentamen, mag er niet meer weg worden gekeken van het scherm. Nadenkend naar buiten staren is er niet meer bij. Studenten plassen soms bijna in hun broek omdat ze tijdens het tentamen niet naar de wc mogen”, aldus Appelman, Toh en Zwart.
“Het is belangrijk te beseffen dat hierbij geen menselijke surveillanten zijn”, gaan zij verder. “De kunstmatige intelligentie monitort honderden studenten tegelijkertijd. Een algoritmische waakhond kent aan het einde van het tentamen elke student een score toe voor ‘afwijkend’ gedrag. Beelden van een student met een hoge score kunnen naderhand door een mens worden beoordeeld.”
Studenten van de UvA waren hierover zo ontevreden, dat ze naar de rechter stapten om af te dwingen dat het gebruik van Proctorio zou stoppen. Maar, zo schrijven Appelman, Toh en Zwart, niemand vroeg zich af of de software alle studenten wel gelijkwaardig behandelde.
Toch doken al snel de verhalen op van zwarte studenten die alleen met grote moeite en het gebruik van extra lampen door de software werden herkend.
Gelukkig was daar onderzoeker Akash Satheesan, die ontdekte dat Proctorio OpenCV gebruikt, een grote online bibliotheek met gratis software. Satheesan deed een experiment en ontdekte dat de gezichtsherkenning van OpenCV slechter werkt bij mensen met een donkere huidskleur. Het levert zwarte studenten extra stress op in hun tentamentijd, en leidt er in sommige gevallen zelfs toe dat ze worden uitgesloten van deelname.
Inmiddels heeft het College van de Rechten van de Mens geoordeeld dat de anti-spieksoftware inderdaad discrimineert, meldt NPO Radio 1.
Dit voorbeeld laat zien hoe makkelijk er een vooroordeel in AI-systemen kan sluipen. Vaak gaat dit ongemerkt, en zonder dat het de bedoeling van de programmeurs was. Om te begrijpen hoe dat komt, leggen we je eerst kort uit hoe gezichtsherkenning in zijn werk gaat.
Voor je AI een taak kan laten uitvoeren, zoals het herkennen van gezichten, heb je data nodig waarmee je het systeem kan trainen. In het geval van gezichtsherkenningssoftware, heb je dus eerst enorm veel beelden van gezichten nodig. Procotorio haalde deze beelden en de benodigde software gratis uit OpenCV, een gratis online softwarebibliotheek.
Een computer herkent gezichten op een andere manier dan wij dat doen. Wij mensen herkennen iemand doordat het geheel van ogen, oren, haar en vorm van gezicht ons bekend voorkomt. Dat lukt zelfs als we maar een half gezicht zien, bijvoorbeeld doordat iemand een mondkapje draagt. Best knap, als je erover nadenkt.
Gezichtsherkenningssoftware werkt anders. Voor de software zijn gezichten geen visueel geheel, maar een verzameling datapunten: de afstand tussen beide ogen wordt bijvoorbeeld gemeten, net als de ligging van de jukbeenderen en de breedte van de neus.
Gezichtsherkenning valt onder de AI-noemer ‘Computer Vision’. Dat is het vakgebied dat als doel heeft om computers digitaal beeld te laten begrijpen. Computer vision speelt ook een grote rol bij zelfrijdende auto’s. Software die gezichten herkent, doorloopt doorgaans vier stappen om een gezicht te herkennen:
In dit proces wordt Machine Learning toegepast.
Maar het systeem werkt niet volledig op basis van Machine Learning; het volgt daarnaast simpele regels op die programmeurs hebben opgesteld. Zo zal het bijvoorbeeld altijd eerst checken of een foto rechtop staat. Stel dat de student zijn hoofd schuin houdt, dan moet de software dit herkennen en corrigeren. Ook moet soms het contrast van de afbeelding verhoogd worden, zodat een gezicht makkelijker te herkennen is. Dit soort randvoorwaarden worden van tevoren door programmeurs opgesteld als regels.
Bijvoorbeeld: ‘Als de afbeelding gekanteld is: zet hem recht’
In dit soort gevallen start de software met het simpelweg volgen van die regels. Zodra de afbeelding gebruiksklaar is (rechtop, met genoeg contrast, etc.), komt de Machine Learning pas uit de kast om het gezicht daadwerkelijk te identificeren.
Terug naar het voorbeeld van Proctorio, dat zwarte studenten minder goed herkent. Nu je weet hoe gezichtsherkenning werkt, kunnen we je uitleggen hoe zo’n vooroordeel (ook wel bias genoemd) in de software kan sluipen. Hoe goed AI-model functioneert, hangt namelijk volledig af van hoe goed je het traint. Als je Proctorio leert gezichten herkennen, maar daarbij voornamelijk foto’s van witte mensen gebruikt, heeft het systeem geen kans om ook te ‘oefenen’ op zwarte mensen. Wanneer je een AI-model gebruikt, is het daarom essentieel om te weten hoe het getraind is. Die informatie is echter niet altijd openbaar. Soms blijkt pas in de praktijk dat de AI vreemde dingen doet. En daarom moet je als journalist scherp blijven. Als waakhond van de samenleving, moet je ook kritisch kunnen kijken naar de invloed van AI.
project van Hogeschool Utrecht
gemaakt door Wilfred Hoogendoorn
contactinformatie
Heb je ideeën of voorbeelden voor deze website of wil je samenwerken?
Neem contact op via
journalistiek-en-ai @journalismlab.nl
Ik wil..