Automatische webcare: kunnen we ironie aan?

De hoeveelheid online berichten van potentiële klanten (eWOM) is tegenwoordig dusdanig groot, dat bedrijven software inzetten voor hun webcare. Niet alleen om online te monitoren, maar er gaan ook geluiden op om berichten automatisch te beantwoorden. Een interessante gedachte, maar is onze technologie inmiddels al zover dat er geen medewerker meer aan te pas hoeft te komen om de berichten te detecteren, ze correct te interpreteren en er een passend respons op te geven?

Dit artikel is geschreven door Christine Liebrecht is universitair docent Communicatie- en Informatiewetenschappen aan Tilburg University

Voor een deel van de online klantberichten is het antwoord ongetwijfeld ‘ja’. Als er duidelijke topics in de eWOM worden gegeven (wat zijn jullie openingstijden?) of het sentiment ondubbelzinnig te interpreteren is (erg jammer, de verkeerde schoenen zijn geleverd!) zal software in staat zijn om de boodschap voldoende te begrijpen om er een passend antwoord op te geven (we zijn van 8 tot 17.30 uur open; dat is vervelend, kun je je klantgegevens sturen in een dm?). Maar hoe zit het met complexere boodschappen zoals ironische berichten, wat kan software daarmee?

Ironie in klantberichten

Ironie kennen we allemaal: je zegt iets dat afwijkt van wat je eigenlijk bedoelt. In de wetenschap wordt (verbale) ironie zelfs vaak gezien als de tegengestelde betekenis van wat er werkelijk staat. Als iemand zeiknat tot aan zijn kleineteennagel aan toe binnenstapt en zegt Wat een fantastisch weer vandaag, druipt de ironie er letterlijk en figuurlijk vanaf.

Dit soort ironische uitdrukkingen komen ook in eWOM-berichten voor. Bijvoorbeeld: Dank #NS voor deze heerlijk drukke trein. Of: Echt gewoon geweldig dat de klantenservice zo behulpzaam is #not. Er wordt exact het tegenovergestelde gezegd van wat er eigenlijk wordt bedoeld.

Ironie kun je markeren

Er zijn allerlei trucs die schrijvers van ironische berichten hanteren om aan te geven dat de ander de uiting niet letterlijk moet nemen (Burgers et al., 2012). Qua woordkeuze kan de schrijver bijvoorbeeld intensiveerders gebruiken (wat een fantastisch weer), spreken in hyperbolen (het beste weer ooit), een understatement toepassen (best slecht weer), het woord verkleinen (lekker weertje) of een uitroep toevoegen (lekker weer, joepie). Uitroeptekens (lekker weer!!!!!), kapitalen (LEKKER weer), smileys (lekker weer 😉), aanhalingstekens (‘lekker’ weer) en hashtags (#not) zijn ook te gebruiken.

Gelukkig komen die markeerders ook regelmatig voor in ironische eWOM. Heerlijk drukke trein, geweldig en #not, ze zorgen ervoor dat we de boodschap goed begrijpen. Dat geldt niet alleen voor mensen, maar ook voor computers. In de studie die ik in 2015 uitvoerde samen met mijn Nijmeegse collega’s Florian Kunneman, Antal van den Bosch en Margot van Mulken onderzochten we of een computer in staat is om ironische boodschappen te herkennen.

Het onderzoek

Wij waren nieuwsgierig of een computer getraind kan worden op het herkennen van ironische uitingen (die we in onze studie ‘sarcastisch’ noemen, maar ze worden vaak als synoniemen gezien). Er werden 406 duizend Nederlandstalige tweets verzameld met een hashtag die ironie markeert: #sarcasme, #ironie, #cynisme, #not. Ervan uitgaande dat de twitteraars deze hashtags correct gebruikten (uit eigen annotatie van een gedeelte van deze tweets bleek 90% inderdaad ironisch), trainden we een computer (machine learning classifier) op het herkennen van patronen in deze ironische uitingen.

Daarna lieten we de computer miljoenen tweets van een doorsnee dag analyseren. Tussen deze tweets zaten 353 berichten die oorspronkelijk de hashtag #sarcasme, #ironie, #cynisme of #not bevatten, maar bij deze taak hadden we die hashtag uit de tweets verwijderd. Het was dus de vraag of de computer deze 353 tweets alsnog kon herkennen als ironisch.

Hoopvolle bevindingen

Dit bleek het geval: van de oorspronkelijke 353 expliciet gemarkeerde ironische tweets vond de computer er 309 terug (87 procent). Een hoopvol resultaat! De computer gaf ook aan hoe zeker die was over de detectie van ironische tweets. Hij had namelijk ook tweets opgespoord die oorspronkelijk niet een van de vier hashtags had en dus buiten de 353 ironische tweets vielen.

Om na te gaan hoe betrouwbaar de totale ironiedetectie van de computer was, analyseerden we handmatig de eerste 250 gedetecteerde tweets waarover de computer vrij zeker was dat ze sarcastisch waren. Een deel hiervan was inderdaad ironisch (35 procent), maar een deel ook niet. Blijkbaar heeft een deel van de niet-ironische tweets dus een vergelijkbaar patroon als de wel-ironische tweets, waardoor de computer dacht dat ze ook tot dit stijlmiddel behoorden.

Daarnaast kwam naar voren dat Twitteraars inderdaad markeerders gebruiken om de ironie in de boodschap aan te geven. Bijwoorden (super), positieve adjectieven (interessant, gezellig, slim) en intensiverende adjectieven (geweldig, heerlijk, prachtig) werden het meest frequent genoemd. Ook uitroepen (jippie, woehoe, wow) en andere hashtags (#humor, #lml, #grapje) komen vaak in ironische tweets voor.

Ironische antwoorden?

De resultaten zijn dus hoopvol voor het monitoren van positieve en negatieve teksten in eWOM. Een groot deel van de oorspronkelijke ironische tweets werd door de computer teruggevonden, wat zeer bruikbaar is om correcte webcare op toe te passen. Maar we moeten nog een slag om de arm houden: de computer detecteert ook berichten die weliswaar een vergelijkbaar patroon hebben, maar die niet ironisch zijn. Wellicht zal deze foutmarge door meer onderzoek op termijn verkleind worden. En dan ligt de volgende uitdaging voor ons: gaat het de computer lukken om een passend antwoord te geven op ironische klantberichten? Dat zou een fantastische ontwikkeling zijn.

Het volledige artikel van Kunneman, Liebrecht, Van Mulken en Van den Bosch is getiteld ‘Signaling sarcasm: From hyperbole to hashtag’ en verscheen in Information Processing & Management (2015), volume 51(4), pp. 500–509. U vindt dit artikel hier (betaald).

Het volledige artikel van Burgers, Van Mulken en Schellens is getiteld ‘Verbal irony. Differences in usage across written genres’ en verscheen in Journal of Language and Social Psychology (2012), volume 31(3), pp. 290–310. U vindt dit artikel hier (betaald).