Factchecks: jij maakt de trainingsdata

Leerdoel: Je leert trainingsdata maken met een code boek, en ontdekt het belang van kalibreren om tot een zo objectief mogelijk oordeel te komen

Opdracht

Zonder goede trainingsdata, geen FactRank. Maar hoe moeilijk is het eigenlijk om trainingsdata te labelen? Zijn jullie het eens over wat FactRank zou moeten labelen als een checkbare uitspraak? Daar gaan we met deze oefening achter komen.

Neem eerst ongeveer 10 minuten om het codeboek van FactRank te scannen. Dit is het codeboek dat de menselijke codeurs achter FactRank gebruiken. Lees in ieder geval de inleiding.

Codeer vervolgens zin voor zin de onderstaande tekst. Negeer hierbij je eigen mening over wat leuk is om te checken. Volg strikt de instructies van het codeboek. Markeer zinnen die niet feitelijk (NF) zijn rood, zinnen die feitelijk en relevant (FR) zijn groen en zinnen die feitelijk en niet-relevant (NFR) zijn blauw.

Uit verschillende onderzoeken blijkt dat vrouwen zichzelf systematisch onderschatten, waar mannen zichzelf eerder te veel kennis van zaken zullen toebedelen. Daarnaast worden mannen sneller als briljant gezien, waardoor het voor de vrouw moeilijker is zichzelf aan de talkshowtafel als kundig te bewijzen.

Als redacteur van een talkshow is het zaak daar doorheen te prikken en vrouwen te overtuigen van hun kwaliteiten. Bellen, bellen, bellen luidt dan het devies. We bellen ons suf. Er zijn ook dagen geweest waarop ik de handdoek in de ring heb gegooid. Voor elke twijfelende vrouw staan er tien mannen te popelen. Allereerst is het aan vrouwen om in het gat te springen, om zichzelf – of desnoods andere vrouwen – naar voren te schuiven en die ruimte te claimen.

– Floor Doppen, column de Volkskrant, 22 augustus 2022

Bespreking

Laat iedereen zijn resultaten voor in de ruimte hangen. Waar zitten de verschillen, zijn die op te lossen als je het codeboek er nog eens bij pakt? Kun je het eens worden over wat NF, FR en NFR is? Dit proces noem je kalibreren. Dit is heel belangrijk bij het ontwikkelen en verbeteren van een codeboek.

Kijk vervolgens nog eens naar de tekst. Welke zin is het meest geschikt om een factcheck over te schrijven? Check, als je een zin hebt, of het algoritme van FactRank het met je eens is. Dit kan je doen door het hele fragment in te voeren in: https://factrank.org/tool.

Materiaal

Tijdsindicatie

45 minuten, waarvan:

  • 15 minuten voor het lezen van het verhaal
  • 15 minuten voor het maken van de opdracht​
  • 15 minuten om na te bespreken ​
Disclaimer. De onderzoekers hebben geprobeerd alle informatie te verifiëren bij de betrokken media. Waar dit niet is gelukt, is ervoor gekozen om op basis van de beschikbare informatie een zo volledig mogelijk beeld te schetsen van de software die (zeer waarschijnlijk) gebruikt is. De onderzoekers zijn daarbij bijgestaan door AI-experts. Omdat de experts de genoemde AI-toepassingen in meer algemene termen duiden, bestaat de kans op onjuiste details of onvolledigheden. Mocht u deze aantreffen, neem dan gerust contact op.