Tegenwoordig is er soms eerder te veel dan te weinig informatie voorhanden. Hoe zorg je als journalist dan dat je door de bomen het bos blijft zien? En hoe baan je je een weg door grote hoeveelheden bestanden? Het International Consortium for Investigative Journalists besloot AI te gebruiken om 340.000 medische dossiers te doorzoeken.
Met medische hulpstukken kan van alles misgaan. Spiraaltjes die baarmoeders perforeren, lekkende implantaten, hartkastjes die een schok geven, kunstheupen die voor infecties zorgen. Het viel journalisten op dat de meeste verhalen over (soms levensgevaarlijke) problemen met medische hulpstukken over vrouwen gaan. Dit geldt ook voor hulpstukken die door mannen en vrouwen gebruikt kunnen worden.
De Amerikaanse Food and Drug Administration (FDA) verzamelt alle klachten en registreert daarbij of het om een man of vrouw gaat. Maar de organisatie houdt de informatie over het geslacht van de slachtoffers voor zichzelf, terwijl dit om veiligheidsredenen hoogst relevante publieke informatie is.
Daarom besloten journalisten van The International Consortium of Investigative Journalists (ICIJ) AI in te zetten om 340.000 medische dossiers te doorzoeken en te bepalen in hoeveel gevallen medische hulpstukken respectievelijk vrouwen en mannen in gevaar brachten. Want hoewel het geslacht niet expliciet genoemd wordt, is deze vaak te herleiden uit de woorden die in de context gebruikt worden – zij, haar, hij, zijn, hem, etc., maar ook woorden zoals baarmoeder of prostaat. Wat blijkt? 67% van de mensen die slachtoffer werden van medische hulpstukken, zijn vrouw. Volgens ICIJ zou de FDA dan ook meer moeten doen om het verschil in risico’s voor mannen en vrouwen te onderzoeken. Het hele verhaal lees je hier.
ICIJ onderzocht 340.000 medische dossiers van patiënten in de Verenigde Staten. In deze dossiers verraadt de tekst soms dat het om een man of vrouw gaat, maar wordt het geslacht van de patiënt niet expliciet genoemd.
Om de 340.000 dossiers te analyseren, werd de tool Snorkel gebruikt. Het proces ziet er als volgt uit:
‘Als het woord “haar” gebruikt wordt, gaat het om een vrouwelijke patiënt’
‘Als het woord “hij” gebruikt wordt, gaat het om een mannelijke patiënt’
Bij die controle bleek dat het model moeite had het geslacht correct te bepalen als er in het dossier meerdere mensen worden genoemd (bijvoorbeeld familieleden of andere gezondheidsmedewerkers). Het was dan niet altijd duidelijk of ‘hij’ of ‘zij’ betrekking had op de patiënt of op een andere betrokkene. Er werden aanvullende regels opgesteld om dit te corrigeren. Wat verder bleek, is dat er soms een mannelijk of vrouwelijk woord aan de medische hulpstukken wordt gehangen, terwijl dit niets zegt over het geslacht van de patiënt. Ook hiervoor werden aanvullende regels opgesteld.
Over dit type AI
De AI die ICIJ gebruikte, is een voorbeeld van Rule-Based AI. Dat wil zeggen: mensen regels om geslacht te herkennen in de dossiers, en het systeem gebruikt die regels om dit vervolgens zelf te doen. Het systeem denkt dus niet zelf na, maar houdt zich simpelweg aan bepaalde regels. In dit geval kon zo’n regel zijn:
‘Als een gynaecologische klacht wordt genoemd, hang je het label “vrouw” aan het dossier’.
Wil je meer weten over Rule-Based AI? Hier leggen we het je nog eens rustig uit.
Het grote voordeel van Rule-Based AI is dat het goed uitlegbaar en navolgbaar is. Mensen hebben de regels tenslotte bedacht, en niet de machine zelf (zoals bij machine learning het geval is). De transparantie van Rule-Based AI is in potentie dus hoog. ICIJ heeft bovendien de gehele codering openbaar gemaakt, waardoor niet alleen de journalisten zelf inzicht hebben in de werking ervan, maar het publiek ook.
Deze transparantie is ook nodig om de resultaten goed te kunnen duiden. In de regels waarop het model getraind is, worden namelijk aannames gedaan. Ze gaan er bijvoorbeeld vanuit dat een ‘husband’ per definitie de partner van een vrouw is. Dat idee is natuurlijk achterhaald, want twee mannen kunnen ook trouwen.
Ook wanneer iemand met zijn zoon of dochter komt, wordt ervan uitgegaan dat het een vrouw betreft. Uiteraard is ook dat kort door de bocht. Want waarom zou een man zijn kind niet mee kunnen nemen naar de dokter? Het is dan ook goed om in gedachten te houden dat de regels vooroordelen kunnen bevatten. We noemen dat ook wel bias. Het feit dat Rule-Based AI mensenwerk is, is daarom tegelijk een voordeel en een nadeel. Het zorgt voor transparantie en inzichtelijkheid, maar tegelijkertijd is er een risico op bias.
project van Hogeschool Utrecht
gemaakt door Wilfred Hoogendoorn
contactinformatie
Heb je ideeën of voorbeelden voor deze website of wil je samenwerken?
Neem contact op via
journalistiek-en-ai @journalismlab.nl
Ik wil..
