Opdracht
Zonder goede trainingsdata, geen FactRank. Maar hoe moeilijk is het eigenlijk om trainingsdata te labelen? Zijn jullie het eens over wat FactRank zou moeten labelen als een checkbare uitspraak? Daar gaan we met deze oefening achter komen.
Neem eerst ongeveer 10 minuten om het codeboek van FactRank te scannen. Dit is het codeboek dat de menselijke codeurs achter FactRank gebruiken. Lees in ieder geval de inleiding.
Codeer vervolgens zin voor zin de onderstaande tekst. Negeer hierbij je eigen mening over wat leuk is om te checken. Volg strikt de instructies van het codeboek. Markeer zinnen die niet feitelijk (NF) zijn rood, zinnen die feitelijk en relevant (FR) zijn groen en zinnen die feitelijk en niet-relevant (NFR) zijn blauw.
Uit verschillende onderzoeken blijkt dat vrouwen zichzelf systematisch onderschatten, waar mannen zichzelf eerder te veel kennis van zaken zullen toebedelen. Daarnaast worden mannen sneller als briljant gezien, waardoor het voor de vrouw moeilijker is zichzelf aan de talkshowtafel als kundig te bewijzen.
Als redacteur van een talkshow is het zaak daar doorheen te prikken en vrouwen te overtuigen van hun kwaliteiten. Bellen, bellen, bellen luidt dan het devies. We bellen ons suf. Er zijn ook dagen geweest waarop ik de handdoek in de ring heb gegooid. Voor elke twijfelende vrouw staan er tien mannen te popelen. Allereerst is het aan vrouwen om in het gat te springen, om zichzelf – of desnoods andere vrouwen – naar voren te schuiven en die ruimte te claimen.
– Floor Doppen, column de Volkskrant, 22 augustus 2022
Bespreking
Laat iedereen zijn resultaten voor in de ruimte hangen. Waar zitten de verschillen, zijn die op te lossen als je het codeboek er nog eens bij pakt? Kun je het eens worden over wat NF, FR en NFR is? Dit proces noem je kalibreren. Dit is heel belangrijk bij het ontwikkelen en verbeteren van een codeboek.
Kijk vervolgens nog eens naar de tekst. Welke zin is het meest geschikt om een factcheck over te schrijven? Check, als je een zin hebt, of het algoritme van FactRank het met je eens is. Dit kan je doen door het hele fragment in te voeren in: https://factrank.org/tool.
Materiaal
- Markeerstiften
- Het Volkskrant-fragment uitgeprint voor ieder groepje of voor iedere student (online kan ook)
- Het codeboek uitgeprint of op de laptop
Tijdsindicatie
45 minuten, waarvan:
- 15 minuten voor het lezen van het verhaal
- 15 minuten voor het maken van de opdracht
- 15 minuten om na te bespreken
