Het monitoren van de verkiezingen via social media

In mei en juni van dit jaar schreef ik een serie van drie blogposts over de politiek (1, 2, 3) hier op Marketingfacts. Mede op basis van deze posts heb ik voor RTL de politiek gevolgd op basis van de sociale media. Met behulp van Coosto heb ik analyses gemaakt van partijen, partijleiders, debatten en nog veel meer. Met deze posting willen we graag delen wat ons is opgevallen, wat we geleerd heb over de mogelijkheden en de onmogelijkheden van sociale media-monitoring.

Deze post heb ik, net als mijn eerdere politieke posts, samen geschreven met Rens Dietz van Coosto.

Zoekstrings

De eerste opdracht was natuurlijk: hoe filter je de politieke berichten uit de grote stroom van berichten op sociale media? De meest logische optie is het gebruik van de naam van de partij of partijleider. Als deze in een bericht aanwezig is, is het meestal een politiek bericht. Dat gaat meestal goed, want partijnamen zijn bijna allemaal eenduidig in het gebruik: VVD, PvdA, PVV, CDA, SP, D66, GroenLinks (of GL). Daarna wordt het echter moeilijk.

De ChristenUnie wordt ook vaak geschreven als CU. Echter, CU wordt ook vaak toegepast als afkorting voor “See You”. Daarvoor heb ik twee strategieën onderzocht: zoeken op CU in hoofdletters (“seeyou” wordt vaak met kleine “cu” geschreven) of een vast aantal berichten in mindering brengen omdat de afkorting van “seeyou” per week ongeveer even vaak voorkomt. Eenzelfde probleem speelde met de achternaam van Jolande “Sap”.

De oplossing bij ChristenUnie was om te zoeken op CU in hoofdletters, omdat dit het meest voorspelbare resultaat gaf. Om alle berichten over GroenLinks bij elkaar te brengen hebben we gekozen om de term “Sap” alleen te selecteren als er ook een andere politieke term in het bericht voorkwam (andere lijsttrekkers, partijen of politieke termen). Je mist dan slechts een klein aantal berichten.

Daarnaast spelen natuurlijk altijd schrijffouten een rol (Samsom/Samson, Emile/Emiel). Oplossing is natuurlijk zoeken naar alle mogelijke schrijffouten (Samsom wordt in ca. 20% van de gevallen verkeerd geschreven…). Voordeel is wel dat geen enkele lijsttrekker Jansen heet en dat de lijsttrekkers van de grote partijen (Rutte, Samsom, Roemer en Wilders) relatief weinig voorkomende achternamen hebben. Dat kan haast geen toeval zijn ;-).

Bij de start konden we ongeveer 70.000 politieke berichten per week vinden. Op het hoogtepunt van de campagne waren dat er meer dan 500.000 per week! Vooral de debatten leverden een hoop politieke berichten op. Zo leverde het Premier-debat uiteindelijk meer dan 140.000 berichten op.

Klik op de grafiek voor een grote versie.

Sentiment

Voor de analyse heb ik veel gebruikgemaakt van sentimentanalyse: is een bericht positief of negatief in relatie tot de zoekterm? Als je zoekt op “VVD” zijn andere berichten positief en negatief dan als je zoekt op “PvdA”. Uiteraard ben ik het helemaal eens dat sentimentanalyse een hoop zwakke kanten heeft. De opmerking “weer twee fractieleden weg bij de PVV: goed bezig die Geert” levert een positief sentiment op voor de PVV. Sarcasme, ironie en cynisme zijn niet aan computers besteed.

Toch heb ik gemerkt dat, mits de volumes voldoende zijn, je sentimentanalyse goed kunt gebruiken. Bijvoorbeeld in de hiernaast staande grafiek die het sentiment rondom Rutte en Samsom weergeeft (voortschrijdend driedaags gemiddelde). Te zien is dat het sentiment rondom VVD/Rutte al negatief werd vóór het eerste debat. Onderwerp was toen vooral zijn onzichtbaarheid. Na het RTL Premier-debat zakt hij snel weg als gevolg van de discussie over liegen (zijn aanvaring met Roemer).

Tegelijkertijd zien we dat het sentiment rondom PvdA/Samsom sterk stijgt. Desonanks is de conclusie, als je de individuele berichten bekijkt (in een steekproef uiteraard, het gaat in totaal over meer dan 1,5 miljoen berichten!), dat de ruis van foute interpretaties in het algemeen gelijk verdeeld is. Maar steekproefsgewijs door de individuele berichten lopen blijft noodzakelijk.

Klik op de grafiek voor een grote versie.

De conclusie uit sentimentanalyse kan soms heel verassend zijn. Samsom werd door de kijkers uitgeroepen als winnaar van het Carrédebat (via het second screen). Maar als we naar de sentimentsgrafiek van dit debat kijken, zien we dat het sentiment rondom Samsom niet of nauwelijks van zijn plek kwam. Wilders daarentegen maakte heel veel positief sentiment los in de eerste helft van het debat met zijn one-liners op een manier die goed paste bij het format van het debat (nota bene in een theater). Het lijkt er op dat de gewoonte om Samsom als winnaar van debatten aan te wijzen te sterk geworden was. In latere analyses door debatdeskundigen kwam ook de conclusie naar voren dat Wilders het meeste indruk had gemaakt.

Positieve berichten als maat voor populariteit

Het Premier-debat bij RTL4 wordt gezien als de “game changer” in de campagne waarbij Roemer werd ingewisseld voor Samsom als uitdager van Rutte. Maar is dat ook zo? In de grafiek hieronder zien we de aantallen positieve berichten van Samsom en van de PvdA tijdens het debat pieken. Samsom piekt daarbij veel sterker dan de PvdA. Het positieve sentiment rust veel meer op de lijsttrekker dan op de partij op dat moment. Zowel Samsom als de PvdA zakken daarna weer. Pas na het tweede debat (“Nu doet u het weer, mijnheer Rutte”) zien we dat het aantal positieve berichten rondom Samsom op een hoog niveau blijft. De trendlijn voor de populariteit van de PvdA was al licht aan het groeien voor het debat en blijft ongeveer in een zelfde tempo doorgroeien. Uiteraard heeft Diederik Samsom met zijn performance tijdens de debatten veel bijgedragen aan de groei, maar het positieve sentiment was al aan het ontstaan. Een zelfde verhaal kan worden gehouden voor de neergang van de SP die ook al voor het Premier-debat te zien is in de grafiek van Roemer en de SP (niet opgenomen in dit artikel).

Klik op de grafiek voor een grote versie.

Hét trending topic tijdens het Carré-debat was uiteraard Petra Grijzen (de “Rode Papegaai”) en de 1-op-1-interviews die ze hield. Aan de grafiek van aantallen berichten is te zien dat alle pieken in berichtenverkeer samenhangen met haar interviews. Ook na het uitfilteren van alle opmerkingen over haar toon en de kleur van haar jurk bleef de opmerking op Twitter over: “WatKiestNL op 12 september: ik denk de zwarte met 64GB #iPhone”…

Liegende lijsttrekkers

Een belangrijk topic in het begin van de campagne was het liegen van lijsttrekkers. Ook daar over hebben we interessante gegevens boven water weten te halen. Onderstaande grafiek is gemaakt op basis van het zoeken naar combinaties van het woord “liegen” en de lijsttrekkers Rutte, Samsom, Roemer en Wilders. In de grafiek is de relatieve verdeling hiervan aangegeven over de week volgend op het Premierdebat (totaal op de Y-as is dus steeds 100%). Opvallend is dat het “liegen” duidelijk aan Rutte bleef kleven, bij Wilders al snel weer weg was (misschien zijn we het van hem gewend?), bij Roemer pas later in de week opkwam maar snel wegebde en dat Samsom de hele week niet als leugenaar werd gezien.

Klik op de grafiek voor een grote versie.

Inschatten sentiment rondom onderwerpen

Is een instrument als Coosto ook bruikbaar voor politici om in te schatten welke onderwerpen ze het beste kunnen adresseren? In de grafiek hieronder is het sentiment te zien in de combinatie van Rutte en Europa. Te zien is dat voordat de campage echt begon het sentiment rond Rutte en Europa al negatief was. Zijn Europa-standpunt kan op weinig draagvlak rekenen. Toch drukte hij de rode knop in tijdens het Carré-debat en verkondigde dat er geen cent meer naar Europa gaat. Op dat moment zakt het sentiment rondom Rutte en Europa tot een dieptepunt. Gegeven dit sentiment was het voor Rutte verstandiger geweest om niet teveel statements te maken die veel aandacht zouden krijgen.

Klik op de grafiek voor een grote versie.

Sociale media als peilinstrument

Kunnen we met behulp van berichten op sociale media ook de verkiezingsuitslag voorspellen? Op basis van de berichten op sociale media gedurende de weken voor de verkiezingen van 2010 hebben we een analyse gemaakt door simpelweg positieve berichten te tellen in de week voorafgaand aan de verkiezingsdag en de procentuele uitslag te nemen als verkiezingsuitslag. Op basis van de verschillen tussen de voorspelling en realiteit in 2010 hebben we een correctiefactor toegepast.

Deze cijfers hebben we doorgesproken met een hoogleraar op de Vrije Universiteit, Jan Kleinnijenhuis. Onze hypothese daarbij was, dat veel van de berichten niet gaan over wat iemand zélf stemt, maar de inschatting bevatten die iemand maakt wat “Nederland” gaat stemmen. En als voldoende mensen maar een inschatting maken wie er gaat winnen, zullen de afwijkingen zich uitmiddelen. Met 550.000 berichten van 125.00 personen in de week voor de verkiezingsdag zijn dat een heleboel inschattingen. Met andere woorden, we benaderen de politiek als die stier op de markt: als maar genoeg mensen zijn gewicht schatten, zal het een representatief beeld geven met een normale verdeling. Een gecrowdsourcede peiling dus.

UPDATE, 14 september 13.30 uur: bovenstaande tabel is aangepast o.b.v. verschuiving in de verdeling van restzetels (o.a. vanwege de lijstverbinding van PvdA, Groenlinks en SP.

Het resultaat? We kunnen er lang of kort over praten, maar samenvattend kunnen we stellen dat we er zwaar naast zaten. Gelukkig zaten de andere peilingen er evenveel of zelfs verder naast, maar toch: we zaten er zwaar naast. De voorspellingen zijn gemaakt op basis van een 7-daags gemiddelde. In de loop van de week zag ik wel dat de cijfers van de laatste dagen opliepen, maar vond niet dat ik de gekozen systematiek moest verlaten. Binnenkort gaan we met de Vrije Universiteit evalueren hoe dit beter had gekund.

Resumerend, het monitoren van sociale media biedt vele kansen om te gebruiken in de politiek – en daarbuiten. Het luisteren naar en analyseren van al die microboodschappen die worden verstuurd vanaf de bank thuis heeft absoluut waarde. We hebben alleen nog veel te leren hoe we die waarde in alle situaties moeten oogsten!