De dashboardhype voorbij en oppassen voor sjoemelstatistiek

De 7 take-aways van de AMEC Summit 2017

De trend naar live dashboards met fancy grafieken lijkt voorbij. Tellingen van views, likes, volgers, Klout scores en andere sjoemelstatistiek blijken vaak nietszeggend. De internationale PR- en onderzoekswereld ondernemen actie om advertentiewaarden geheel uit te bannen. Dit waren enkele belangrijke take-aways op de Global Summit on Measurement van de International Association for Measurement and Evaluation of Communication (AMEC) vorige week in Thailand.

Voor het eerst in Azië, weinig Nederlanders

Op het jaarlijkse congres praten toonaangevende onderzoeksbureaus met communicatieprofessionals uit de bureauwereld, overheid en bedrijfsleven over de inzet van onderzoek.

De Summit werd dit jaar voor het eerst sinds de oprichting van AMEC buiten Europa georganiseerd. 200 deelnemers uit 39 landen, met veel nieuwe gezichten uit sterk groeiende markten, zoals China en India, reisden af naar Bangkok. De aanwezigheid van Nederlandse bureaus bleef dit jaar beperkt tot de Publistat-delegatie van drie man.

Fris geluid

In voorgaande jaren verviel de Summit weleens tot een goednieuwsshow. Dit jaar durfden veel sprekers gelukkig ook dilemma’s en problemen te bespreken. Veel sprekers grepen het thema Age of Disruptive Communication aan om prikkelende stellingen te poneren.

1. From Taking Credit to Taking Action

Sprekers van alle continenten gaven aan dat evaluatie nog te vaak uitsluitend gebruikt wordt als rechtvaardiging van het werk van de communicatie-afdeling en niet om van te leren.

Volgens Jamin Spitzer van Microsoft is het van belang om analyses te gebruiken om vooruit te kijken en bij te dragen aan verbetering van de business. Niet langer bereik, GRP’s en advertentiewaarden en andere opgeblazen getallen laten zien om indruk te maken, maar slimme analyses om in gesprekken te laten zien dat je een betrouwbare adviseur bent.

2. Evaluatie is de Alfa en Omega van strategie

In eerdere jaren lag de nadruk vooral op effectmetingen van campagnes achteraf. Onder andere professor Jim McNamara wees erop dat onderzoek een continu proces moet zijn. Niet alleen tijdens de uitvoering van communicatie, om bij te sturen, maar vooral ook vooraf ter voorbereiding. Onderzoek dient niet alleen het effect van de strategie te meten maar ook bepalend te zijn voor de strategie. Hij haalde daarbij enthousiast het werk aan van onder andere UvA hoogleraar Piet Verhoeven. Die noemt evaluatie de Alfa en Omega van strategie.

Measurement at the END of a campaign is typically motivated by defense & filled with vanity metrics that feel important but are ultimately superficial (or possibly even deceptive) – Marian McDonald, Ogilvy

3. Wees realistisch en praktisch

Heel vaak lukt het niet (direct) om de impact van PR vast te stellen. PR is like a free hug, volgens Fritz Quinn (American Express). Het is algemeen bekend dat knuffelen goed is voor het welzijn van mensen, maar de impact van één afzonderlijke knuffel is lastig te meten. Wees daar eerlijk over en probeer met een mix van onderzoeken en gezond verstand toch tot logische conclusies en aanbevelingen te komen, zo was het devies.

Not everything that counts can be counted – Fritz Quinn, American Express (toegeschreven aan Albert Einstein)

4. Slimme analisten blijven nodig, geautomatiseerde analyses nog gebrekkig

Meerdere sprekers wezen op de beperkingen van sentimentscores, influencerscores, PR- waarden en andere geautomatiseerde scores. Daarbij kwamen geestige voorbeelden aan bod. Zo schopte socialmediastratege Dianne Draganovic (nu Citi Bank Australië, eerder TV-zender Channel 9) het tot Nr1-influencer in de World of Warcraft Community zonder ook maar één keer in haar leven het spel te hebben gespeeld. De verklaring voor haar hoge score bleek het groot aantal volgers te zijn dat ze had opgebouwd als early adopter en het feit dat ze vaak Wow! gebruikt in haar tweets.

Zelfs Spitzer van Microsoft, een bedrijf dat toch redelijk in de techhoek zit, bleek kritisch. Hij noemde als voorbeeld de publiciteit rond het deels terugdraaien van de gratis cloudservice van Microsoft. Uit het geautomatiseerde social mediadashboard leek het wel mee te vallen met de kritiek, met zelfs veel positieve scores? Uit nadere analyse bleken klanten cynisch te reageren, zoals Thanks, Microsoft for reducing my cloud storage!

5. Is het post-dasboardtijdperk aangebroken?

In vorige jaren ging het vooral om sneller te kunnen rapporteren, bij voorkeur in live dashboards. Nu wezen sprekers op de haken en ogen die aan dergelijke tools zitten. Eén van de sprekers sprak van het Post Dashboard Era. Niet-geduide data klopt vaak niet (zie boven) of wekt een verkeerde indruk, waardoor het risico op verkeerde conclusies en vooral beslissingen levensgroot is.

Neem dus de tijd om kwaliteit te controleren, vragen te stellen bij de gegevens en echte conclusies te trekken, was het devies. Aseem Sood, AMEC-bestuurslid en eigenaar van het Indiase Impact, gaat zelfs zover dat hij de oplevering van rapporten heeft vertraagd, net als Spitzer van Microsoft, die 30 dagen aanhoudt tussen einde rapportageperiode en oplevering.

Real-time dashboards are often more harmful than they are beneficial – Aseem Sood, Impact

6. Advertentiewaarden moeten uitsterven

Richard Bagnall, voorzitter van AMEC, presenteerde een wereldwijd initiatief om Advertising Value Equivalents (AVEs) volledig uit te bannen. Deze advertentiewaarden en daarop gebaseerde PR-waarden zijn ondeugdelijk, misleidend en ondermijnen de geloofwaardigheid van het communicatievak (zie voor de 8 grootste bezwaren de paper van professor Jim McNamara).

Eén van de maatregelen is dat alle AMEC-leden een verklaring tekenen waarin zij onder andere beloven niet meer actief advertentiewaarden aan te bieden en, als de klant erom vraagt, naar alternatieven te wijzen. Ook zal AMEC bij organisaties van PR-prijzen erop aandringen om een zerotolerance-beleid te voeren tegen inzendingen die gebruik maken van advertentiewaarden. Het initiatief werd direct omarmd door de internationale PR-wereld, zoals CIPR en ICCO die ook vanaf heden inzendingen met AVEs weigeren voor de ICCO Global Awards.

Impressions are meaningless, Like sperm, most miss their target and end up wasted! – Marian McDonald, Ogilvy

7. Gebruik het AMEC Interactive Framework

Paul Hender, meervoudig AMEC-Awardwinnaar, gaf een zeer heldere uitleg van het gebruik van het Framework dat dwingt tot een logische geïntegreerde aanpak van evaluatie van paid, earned, owned and shared publicity. Meer sprekers waren enthousiast over het Framework maar hebben het enigszins aangepast naar eigen smaak.

Volgens AMEC Chairman en co-founder van het Framework, Richard Bagnall, is dat geen enkel probleem. Het model op de site is verbeterd. Klein nieuwigheidje: het framework is nu ook in te vullen en op te slaan zodat het een werkdocument is.