De Zweedse publieke radio-omroep berekent nieuwswaarde met AI

Het is soms lastig te bepalen welk nieuwsitem de meest prominente plek op een nieuwssite verdient. En misschien nóg wel lastiger om te bedenken waar de rest moet komen te staan. Om journalisten hierbij te helpen, zet de Zweedse Nationale Omroep automatisering in.

Het verhaal

Stel, er is een aanslag gepleegd. Dan zal niemand eraan twijfelen dat berichten hierover een plek bovenaan verdienen op nieuwssites en -apps. Maar er zijn veel situaties waarin het minder duidelijk is welk bericht het meest relevant is. Als redacteur moet je snel beslissingen maken en met allerlei informatie rekening houden. Waar gaat een artikel over? Welke andere artikelen staan er op de site? Hoeveel mensen worden geraakt door dit onderwerp? Maar ook: Wat zijn onze waarden als medium en welk soort berichten sluiten daarbij aan? Dat kan een lastige afweging zijn waarbij elke journalist wellicht tot een ander oordeel komt.

De Zweedse publieke radio-omroep Swedish Radio besloot om een tool  in te zetten om de beste publicatieplek voor elk verhaal te bepalen en om ervoor te zorgen dat de redactie daarbij op één lijn zit.

Hoe gaat dit in zijn werk? Een journalist geeft elk verhaal een score op basis van een aantal criteria. Daarbij kijkt hij naar de maatschappelijke impact van het verhaal, maar ook hoe goed het aansluit bij de journalistieke waarden van de omroep. Ligt het verhaal bijvoorbeeld dicht bij de burger? Bevat het stemmen van mensen die door de gebeurtenis geraakt zijn? Tot slot beoordeelt de journalist de levensduur van het verhaal. Heeft het nieuwswaarde voor de korte termijn (zoals een verkeersongeval) of is het relevant voor de langere termijn (zoals een goed opgezet onderzoek)?

Een online redacteur voert alle criteria in het CMS in en het systeem geeft een totaalscore die bepaalt waar het verhaal moet staan – op welke plek in de app of op de website, in welke playlists, etc. Overdag wordt de score van een verhaal live geüpdatet en zakt de score naarmate een nieuwsbericht minder relevant wordt.

Swedish Radio (SR) hoopt zo redacteuren te helpen om dichtbij de kernwaarden van de omroep te blijven. Ook wil de omroep voorkomen dat iedere redacteur andere beslissingen maakt of dat zij worden meegesleept in de waan van de dag.

De data

De data waarmee het algoritme wordt gevoed, bestaan uit de scores die de journalisten aan ieder criterium van een nieuwsartikel geven. Zo kan een artikel bijvoorbeeld een 8 krijgen (op een schaal van 1-10) voor de nieuwswaardigheid op korte termijn. Het algoritme neemt deze ‘8’ vervolgens mee als data om te bepalen welke plek het artikel zou moeten krijgen op de website of in de app.

De AI

Het algoritme werkt volgens een rule-based systeem. Dit betekent dat er er een standaard regel (algoritme) is bedacht door mensen die bepaalt hoe alle scores samen tot een uitkomst leiden.

Bijvoorbeeld: scoort een artikel een 7 op nieuwswaardigheid en staat het langer dan 4 uur online? Dan wordt het artikel van de bovenste plekken van de homepage gehaald.

Zo wordt een journalistieke afweging (moet dit artikel nog wel op de homepage staan?) op de redactie geautomatiseerd. Een journalist bepaalt nog wel de waarde van het artikel, omdat hij of zij zelf een score aan de variabelen geeft. Maar een eindredacteur die ‘s middags aan zijn of haar dienst begint, richt niet langer de homepage in volgens zijn of haar eigen wensen. Swedish Radio hoopt dat het op deze manier voor een relevanter nieuwsaanbod kan zorgen.

 

Ethiek en betrouwbaarheid

Dit type AI is, zoals gezegd, rule-based – gebaseerd op regels. Simpel gezegd: mensen stellen regels op en het model volgt deze op. Dat is anders dan bij Machine LearningDaarbij geef je het AI-model geen regels, maar alleen informatie. Het model gaat dan zelf patronen en regels ontdekken in die data, tot het zijn taak kan uitvoeren. (Meer daarover lees je hier).

Een voordeel van rule-based AI, ten opzichte van Machine Learning, is dat de werking ervan transparant is – in ieder geval voor de makers. Zij hebben de regels ten slotte zelf bedacht en ingevoerd. Bij Machine Learning is soms niet duidelijk waarom het model doet wat hij doet. Bij rule-based automatisering is dat wel het geval.

Dat wil overigens niet zeggen dat iedere journalist die ermee werkt ook daadwerkelijk op de hoogte is van de regels die de AI-tool volgt. En ook voor het publiek is de werking hoogstwaarschijnlijk niet duidelijk. De mate van transparantie kent dus grenzen.

Disclaimer. De onderzoekers hebben geprobeerd alle informatie te verifiëren bij de betrokken media. Waar dit niet is gelukt, is ervoor gekozen om op basis van de beschikbare informatie een zo volledig mogelijk beeld te schetsen van de software die (zeer waarschijnlijk) gebruikt is. De onderzoekers zijn daarbij bijgestaan door AI-experts. Omdat de experts de genoemde AI-toepassingen in meer algemene termen duiden, bestaat de kans op onjuiste details of onvolledigheden. Mocht u deze aantreffen, neem dan gerust contact op.