Social media monitoring met sentimentanalyse? Liever niet!

Consumenten praten online graag en veel over merken. Zo delen ze positieve ervaringen met een merk via social media, maar klagen ze ook graag over slechte ervaringen. Als je systematisch in de gaten wil houden wat klanten online over jouw merk vertellen – zodat je mogelijk via webcare deel kan nemen aan de conversatie – bestaat er eigenlijk geen andere mogelijkheid dan gebruik te maken van één van de velen social listening-tools.

Dit artikel werd geschreven door Stefan Bernritter, Associate Professor of Marketing bij het Institute of Management Studies, Goldsmiths, Universiteit van Londen, en verscheen eerder op SWOCC.nl.

Merken maken vaak gebruik van sentimentanalyse om relevante eWOM op te sporen. Maar onderzoek laat zien dat sentiment van eWOM een slechte proxy voor relevantie is. Sentimentanalyse is vaak niet nauwkeurig genoeg. Machine learning is een goedkopere, snellere en flexibelere oplossing om relevante eWOM op te sporen.

Focus niet alleen op negatieve eWOM

Omdat het vooral voor grotere merken moeilijk is om bij te houden wat er over hen wordt gezegd, wordt door veel social listening-tools gebruik gemaakt van sentiment analyse om aan te geven welke posts belangrijk zijn en welke niet. Sentimentanalyse analyseert (eenvoudig gezegd) het aantal negatieve, positieve en neutrale woorden en leidt hieruit het sentiment van een post af. Vaak wordt hierbij de nadruk gelegd op negatieve online Word of Mouth (eWOM). Negatieve eWOM zou namelijk zo snel mogelijk in behandeling moeten worden genomen om verdere schade te voorkomen. Dit klinkt in eerste instantie aannemelijk, maar wetenschappelijk onderzoek laat zien dat negatieve eWOM niet per se belangrijker is dan andere vormen van eWOM, omdat:

• Negatieve eWOM niet altijd schadelijk is, het kan zelfs positieve effecten hebben.
• Webcare reacties op positieve posts van consumenten sterke positieve effecten opleveren.
• Ook neutrale eWOM een positief effect kan hebben op je merk.

Een sentimentanalyse is vrij gebrekkig

Negatieve eWOM een prioriteit maken is volgens wetenschappelijk onderzoek niet zo’n goed idee, omdat je daardoor kans loopt andere vormen van eWOM – en de wellicht positieve effecten hiervan – te missen. Hiernaast heeft de sentimentanalyse ook nog een aantal andere tekortkomingen die het voor merken moeilijk maken om op een snelle, makkelijke en overzichtelijke manier relevante eWOM bij te houden:

• Een sentimentanalyse analyseert woorden, maar geen betekenis. Je krijgt dus geen inzicht in of een consument een klacht heeft of wellicht alleen opbouwende kritiek geeft.
• Een sentimentanalyse mis-interpreteert sarcasme.
• Een sentimentanalyse houdt geen rekening met de relevantie van content. Alle posts die te maken hebben met je merk worden gecategoriseerd en komen terecht op je dashboard.
• Een sentimentanalyse is een one size fits all-oplossing. Er wordt geen rekening gehouden met het feit dat mensen bijvoorbeeld op een hele andere manier over auto’s dan over rookworst praten.

Bovenstaande maakt duidelijk dat een sentimentanalyse geen optimale oplossing is om relevante eWOM op te sporen en minder relevante content eruit te filteren. Je hoort dan ook over steeds meer merken die mensen in dienst nemen om handmatig relevante eWOM te filteren. Maar hoe kan je dan wel aangeven of eWOM belangrijk is?

Supervised Machine Learning

Een oplossing is om gebruik te maken van Supervised Machine Learning en daarbij te focussen op relevantie in plaats van sentiment. Onderzoek van collega’s en mij laat zien dat je beter een machinelearning-algoritme, dat getraind is op relevantie voor jouw merk, kan gebruiken dan welke vorm van sentiment-analyse dan ook. Middels een dataset, bestaande uit zestigduizend Facebook-posts en elfduizend tweets over zestien merken in verschillende industrieën, is onderzocht of machine learning betrouwbaarder en efficiënter is dan sentiment analyse. Zie het figuur voor een schets van het onderzoeksmodel:

De eerste stap hierbij was het coderen van een post als wel of niet relevant voor een merk is. Het resultaat? Tot 85 procent van de posts op social blijken niet relevant te zijn voor het merk. Vervolgens werd de relevante content onderverdeeld in zes verschillende categorieën: afwijzing, klacht, commentaar, vraag, suggestie, herkenning, en compliment. De eerste twee categorieën zijn negatief, de volgende drie neutraal, en de laatste twee positief. Dit gaf de onderzoekers de mogelijkheid om het proces te vergelijken met een aantal sentiment analyse technieken (waaronder ook technieken die gebaseerd zijn op machine learning).

Machine learning: beter, goedkoper, flexibeler

Kortom, sentimentanalyse is niet erg betrouwbaar. Maar met Supervised Machine Learning beschikken we over een techniek die het duidelijk makkelijker voor jouw merk maakt om relevante eWOM op te sporen. De voordelen?

• Het is goedkoper! Zo’n 250 werkuren.
• Het is nauwkeuriger.
• Je krijgt een op maat gemaakte oplossing voor jouw merk.
• Het filtert automatisch alle ‘rommel’ eruit (zo’n 85 procent van alle eWOM is niet relevant voor je merk).
• Je verliest neutrale en positieve content niet uit het oog.
• Je kan eWOM automatisch onder laten verdelen in een aantal subcategorieën om je webcareteam meteen te laten zien waar een post inhoudelijk over gaat. Gaat het bijvoorbeeld om een klacht of om een verbeterpunt?
• Het werkt op verschillende social media.

Train per industrie

De resultaten laten zien dat het gebruik van Supervised Machine Learning twee keer zo accuraat is als welke vorm van sentimentanalyse dan ook. Verder laat het onderzoek zien dat je een algoritme dat getraind is met Facebook-data ook kan gebruiken voor Twitter-data. Bovendien blijkt dat het verstandig is om een algoritme per industrie te trainen in plaats van gebruik te maken van een algemeen algoritme, want mensen praten dus inderdaad anders over auto’s dan over rookworst.

Het volledige artikel van Vermeer, Araujo, Bernritter en Van Noort is getiteld ‘Seeing the wood for the trees: How machine learning can help firms in identifying relevant electronic word-of-mouth in social media’ en verscheen in International Journal of Research in Marketing (2019), 1-17. Je vindt het artikel hier (betaald).