Dankzij Artificial Intelligence konden journalisten van de Groene Amsterdammer en data-analisten van de Utrecht Data School een gigantische hoeveelheid twitterberichten analyseren. Journalist Coen van de Ven legt uit hoe ze dat hebben aangepakt.
Tien procent van alle tweets gericht aan vrouwelijke politici bevat haat of agressie, Dat blijkt uit onderzoek van de Groene Amsterdammer samen met de Utrecht Data School. Veel vaker dan mannen krijgen vrouwen te maken met opmerkingen, beledigingen of zelfs bedreigingen vanwege hun stem, lichaam, religie of huidskleur. Politieke partijen zijn bang dat vrouwen daardoor minder vaak voor een politieke carrière zullen kiezen. Het hele verhaal, waarin de Groene Amsterdammer de bevindingen bespreekt met twaalf vooraanstaande, zowel linkse als rechtse, vrouwelijke politici, lees je hier. Wij zoomen in op de AI die de Groene Amsterdammer inzette voor het onderzoek. Want een miljoen tweets onderzoek je natuurlijk niet handmatig.
AI kan je helpen om grote hoeveelheden informatie te doorzoeken. Maar voordat je AI aan het werk kunt zetten, heb je data nodig. Dat is de informatie waarmee de AI tool werkt.
In dit onderzoek bestaat de data uit alle Nederlandstalige tweets die tussen 1 oktober 2020 en 26 februari 2021 zijn gestuurd naar of over Nederlandse politici. Dat waren er meer dan een miljoen.
Om te bepalen welke tweets werden meegenomen, moesten de journalisten eerst een lijst met politici opstellen. Daarop stonden alle politici die zich verkiesbaar stelden voor de Tweede Kamer. De enige eis was dat zij bij een partij hoorden die in de peilingen minstens één zetel kregen. Van de 670 kandidaat-Kamerleden waren er 215 vrouw: 38 procent dus.
Met deze lijst van politici, konden de journalisten vervolgens de Tweets verzamelen die zij zouden analyseren. Op Twitter is gezocht naar alle tweets waarin ofwel de gebruikersnaam, ofwel de volledige naam van een kandidaat-Kamerlid wordt genoemd.
In totaal werden er 1.268.889 tweets verzameld. Ongeveer een vierde daarvan, 339.932 tweets, is verstuurd aan vrouwelijke politici.
Nadat alle Tweets waren verzameld, gebruikten de onderzoekers AI om de inhoud ervan te onderzoeken. De Groene Amsterdammer en de Utrecht Data School trainden een AI-systeem dat per Tweet bepaalt of de inhoud haatdragend of agressief is, of niet.
Een AI-model leert daarbij om teksten in verschillende categorieën (‘classes’) te verdelen. In dit geval: haatdragend of niet-haatdragend, agressief of niet-agressief. Dit is een voorbeeld van (‘single label’) tekstclassificatie. Single-label betekent dat een tekst maar bij een enkele categorie mag horen. Anders dan bij een film bijvoorbeeld, die tegelijkertijd ‘avontuurlijk’, ‘spannend’ en ‘humoristisch’ kan zijn. Maar een tweet kan niet tegelijkertijd ‘haatdragend’ en ‘niet-haatdragend’ zijn.
Om het AI-model te leren classificeren, moet het eerst getraind worden door mensen. Dat deden de onderzoekers bij dit project door een deel van de tweets handmatig in categorieën op te delen. Dat noem je labelen. Voor het labelen hebben vier onderzoekers in totaal ruim 10.000 Tweets bekeken. Die zijn willekeurig gekozen. Van elk van deze Tweets gaven de onderzoekers aan of deze überhaupt haat of agressie bevatte. Zo ja, dan werd ook aangegeven waarop de haat gericht was, bijvoorbeeld op gender, etniciteit of lichaam.
De onderzoekers voeren al deze informatie in het AI-systeem in. Op basis van die informatie leert het AI-systeem zelf te voorspellen of een bericht haatdragend of agressief is. Het AI-model leert deze taak dus zelfstandig uit te voeren, op basis van menselijke input (de labels).
Bij het onderzoek van de Groene Amsterdammer kwamen verschillende ethische kwesties in beeld. Een belangrijke vraag is allereerst hoe je Tweets het beste kunt categoriseren. Wanneer is een Tweet haatdragend of agressief en wanneer niet?
De onderzoekers hebben dit niet zelf bedacht, maar gebruik gemaakt van een categoriseringsmodel van Amnesty International, dat speciaal bedoeld is voor het analyseren van online haatberichten.
Bij het labelen is bovendien terughoudend te werk gegaan. Bij twijfel werd gekozen de tweet eerder als niet-haatdragend te labelen. Vanwege deze structurele terughoudendheid verwachten de onderzoekers dat het percentage haatdragende berichten in werkelijkheid mogelijk nog hoger ligt.
Het grote voordeel van Supervised Learning is dat het goed uitlegbaar en navolgbaar is. Mensen hebben de regels tenslotte bedacht, en niet de machine zelf (zoals bij Unsupervised Machine Learning het geval is). De transparantie van is dus hoog.
Het feit dat het trainen van het model mensenwerk is, is tegelijk een voordeel en een nadeel. Het zorgt voor transparantie en inzichtelijkheid, maar tegelijkertijd is er een risico op bias waar je als journalist op bedacht moet zijn. Wat in de ogen van de één haatdragend is, is dat in de ogen van een ander misschien niet.
De Groene Amsterdammer en de Utrecht Data School hebben geprobeerd de kans op bias zo klein mogelijk te maken, door de classificatie van Amnesty International over te nemen, en door het oordeel van mens en machine steekproefgewijs met elkaar te vergelijken. Er werden dus willekeurig Tweets gekozen, om te vergelijken of mens en machine tot dezelfde conclusie zouden komen. Dit is een manier om het werk van AI te dubbelchecken.
project van Hogeschool Utrecht
gemaakt door Wilfred Hoogendoorn
contactinformatie
Heb je ideeën of voorbeelden voor deze website of wil je samenwerken?
Neem contact op via
journalistiek-en-ai @journalismlab.nl
Ik wil..
