De nauwkeurigheid en toekomst van sentimentanalyse

We kennen het allemaal. Je stuurt iemand een tekstberichtje – een sms, tweet of mailtje – en degene aan wie je het stuurde, begrijpt het verkeerd. Denkt dat je boos bent of dat je op heel iets anders uit bent dan daadwerkelijk het geval is. Het probleem: een verkeerde interpretatie. Dan hebben we het over de menselijke analyse van tekst. Hoe dicht zou automatische sentimentanalyse daarbij in de buurt komen? Kan een computer op basis van patronen en woorden een stukje tekst interpreteren? Hoe verhoudt de nauwkeurigheid zich ten opzichte van interpretatie door een mens? Het zijn intrigerende vragen. Zeker in de context van social media. Op dat vlak heeft zulke sentimentanalyse namelijk de toekomst. Kijk je naar tweets? Dan is een accuraatheid van bijna 70% mogelijk. Hier volgen het waarom en het hoe.

Het waarom

Waarom zou je als organisatie inzetten op sentimentanalyse? Als je het mij vraagt, omdat het een waardevol strategisch instrument gaat worden. Waar veel bedrijven sentimentanalyse nu nog inzetten als een vorm van ‘damage control’ (negatief sentiment signaleren en in de kiem proberen te smoren via webcare) heeft het alle mogelijkheden om ook proactief ingezet te worden. Sentimentanalyse gaat de basis vormen voor interactie in plaats van reactie. Want als je je als bedrijf onderdeel maakt van de emotie (en je soms ook kwetsbaar durft op te stellen) kun je je merkpositie kracht bijzetten en blijven versterken. Maar hoe gaat dat in zijn werk?

Meertalig en generiek

Om het sentiment binnen social media automatisch te analyseren, moet je een nauwkeurige analyse van menselijk taalgebruik kunnen maken. Dat gaat verder dan een bericht naast een woordenlijstje leggen. Je beperkt je dan namelijk al snel tot simpele zinsconstructies en vaak ook tot slechts één taal. We zien dan ook dat het overgrote deel van de methodes voor sentimentanalyse zich toespitst op het Engels. Een generieke methode die taalgrenzen overschrijdt, biedt veel meer perspectief. In mijn master’s thesis Multilingual Sentiment Analysis on Social Media ga ik juist hiernaar op zoek. Ik wilde een methode ontwikkelen die geen voorwaarden stelde of aannames deed. Een methode voor sentimentanalyse in de breedste zin van het woord.

Noot van de redactie:

Met bovengenoemde scriptie won Erik vorig jaar zowel de M&I/partners Informatie Scriptieprijs voor Informatica en Informatiekunde als Berenschots Scriptieprijs 2011.

Vier stappen

Mijn methode onderscheidt vier stappen. De eerste is het herkennen van de taal. Als die vast staat, volgt de zinsontleding. Daarna bepalen we de subjectiviteit en vervolgens de polariteit. Uiteraard maak ik in deze methode ook gebruik van woordenlijsten, maar nog belangrijker zijn patronen. Door zaken als ontkenningen en zinsbouw te herkennen en te analyseren als aanvulling op de lading van een woord, krijg je een veel generiekere en daardoor nauwkeurigere analyse.

Menselijke sentimentanalyse

Hoe verhoudt de nauwkeurigheid van deze methode van automatische sentimentanalyse zich tot die van menselijke sentimentanalyse? In hun paper Recognizing Contextual Polarity in Phrase-Level Sentiment Analysis voeren onderzoekers Wilson, Wiebe & Hoffman een sentimentanalyse uit door meerdere mensen dezelfde grote verzameling van nieuwsartikelen (doorgaans beter opgezet en geargumenteerd dan tweets) te laten lezen en interpreteren. De onderzoekers hebben niet alleen oog voor de juiste interpretatie, maar ook voor menselijke overeenstemming. Hun conclusie is dat twee mensen die dezelfde tekst lezen, het gemiddeld voor 82% eens zijn over de intentie van de tekst.

Sentimentanalyse op social media

Onderzoekers Peng en Park refereren aan de bovenstaande paper in hun eigen onderzoek waarin zij dezelfde analyse uitvoeren, maar nu binnen social media. Het resultaat: de overeenstemming keldert naar 43,68%. Als het dus niet gaat om goed geargumenteerde en langere stukken tekst, maar om korte tekstjes op social media, zijn twee mensen het in nog niet eens de helft van de gevallen eens over de inhoud. Hoe zit het dan met de nauwkeurigheid van automatische sentimentanalyse? Bij onze methode, die gebruikmaakt van de vier eerder beschreven stappen, komen we uit op een accuraatheid van 69,2%. De onderbouwing van dat percentage kun je teruglezen in mijn thesis. Daarbij moeten we wel aanmerken dat dit geldt voor teksten met een grote zekerheid over de juiste boodschap. De ‘randgevallen’, waarbij het sentiment ingepakt wordt door ‘ruis’, zijn hierin niet meegenomen.

Klaar voor de volgende stap

Niettemin hebben we goed bewijs dat goed opgezette automatische sentimentanalyse een reële graadmeter is voor de algemene stemming op social media. Zeker nu we onze methode alsmaar blijven verbeteren, waardoor we steeds meer ‘randgevallen’ ook op de juiste manier kunnen interpreteren. De conclusie dat automatische sentimentanalyse een grotere accuratesse heeft dan menselijke sentimentanalyse is wat kort door de bocht, maar bevat wel een kern van waarheid. Het geeft aan dat we sentimentanalyse kunnen gaan inzetten zoals het bedoeld is. Dat we verder kunnen gaan dan alleen het temperen van negatieve geluiden, maar dat we de automatische peiling van het sentiment binnen social media kunnen gaan inzetten als de basis van onze onlinemarketingstrategie.