ROI is nutteloos in het aantonen van effectiviteit

Nee, het is geen mening, maar aangetoond door wetenschappelijk onderzoek

Degene die geloven in de meetbaarheid van deze wereld, zien ROI als het ultieme meetinstrument om de waarde van wat dan ook te bepalen. De populariteit van ROI komt doordat het een meetbaar resultaat, uitgedrukt in een cijfer en dat ontwikkeld is door de financiële wereld: dat heeft blijkbaar status. Dit zie je ook terug bij contentmarketeers, die willen bewijzen dat contentmarketing ook echt werkt. En met de sterke opkomst van marketing automation lijkt de roep om ROI alleen maar sterker te worden, omdat het nu makkelijker dan ooit is om de ROI aan te tonen. Toch? Nou, eigenlijk niet nee. Op basis van wetenschappelijke studies concludeer ik dat we niet eens weten wat ROI nu echt is en dat een dergelijk meetinstrument te simpel is om de complexe (content)marketingprocessen in een cijfertje te omvatten. ROI is dus eigenlijk nutteloos in het aantonen van effectiviteit.

Tja, zullen vele lezers nu denken: weer een blogpost over ROI? En ook weer een die zegt dat we termen als ROI links moeten laten liggen? Stopt die discussie nu nooit? Inderdaad, het afgelopen jaar is een redelijk aantal blogposts over de ROI van contentmarketing geschreven en is er op twitter ook stevig over gediscussieerd.

Maar al deze discussies ten spijt, we zijn er niet echt wijzer van geworden. De discussies blijven namelijk hangen op het geloof dat je aanhangt: of je bent ervan overtuigd dat elke investering die je doet in (content)marketing bewezen effectief moet zijn, of je bent ervan overtuigd dat dit helemaal niet nodig is, want met goede verhalen boek je altijd succes.

Deze geloofsdiscussie laat ik in deze blogpost links liggen. Ik wil hier met behulp van wetenschappelijke studies aantonen dat ROI niet bruikbaar is in het aantonen van de effectiviteit van welke vorm van marketing en communicatie dan ook. Dit wil niet zeggen dat je de effectiviteit van (content)marketing niet zou moeten (willen) aantonen, juist wel, maar dat dit beter kan aan de hand van andere meetmethoden.

De studies en artikelen die ik aanhaal zijn afkomstig van academici uit de PR- en communicatiehoek en dus niet uit het (content)marketingonderzoeksveld. Het uitgangspunt van dit blogartikel zijn twee rapporten: ‘The development of international standards for measurement and evaluation of public relations and corporate communication: A review’ van Jim Macnamara uit 2014 en de ‘European Communication Monitor 2011’ van Zerfass, Verhoeven, Tench, Moreno en Verčič.

Toch ben ik ervan overtuigd dat de conclusies bruikbaar zijn voor (content)marketeers, want per slot van rekening zijn de werkprocessen, middelen en doelen vergelijkbaar met elkaar, qua complexiteit en strategische plek in de organisatie.

De populariteit van ROI

Uit de European Communication Monitor (Zerfass, et al., 2011), blijkt 47 procent van de 2.209 ondervraagde Europese PR-professionals de term ROI te gebruiken bij de planning en evaluatie van communicatiebeleid en –activiteiten. ROI is vooral populair onder de hoofden communicatie (54 procent) en teamleiders (46 procent) en minder onder medewerkers en consultants (35 procent). ROI wordt vooral ingezet door bureaus (59 procent) en professionals in N.V.’s (51 procent) en minder door professionals die werken bij de overheid (25 procent) en non-profit organisaties (33 procent).

Recentere cijfers dan deze uit 2011 zijn er niet, al lijkt het wel logisch om te verwachten dat de percentages zijn gestegen: zeker in deze tijd van bezuinigingen lijken veel marketing- en communicatieprofessionals de effectiviteit van hun investeringen en inspanningen te moeten bewijzen. Meer recente cijfers uit de contentmarketingwereld zijn afkomstig van het Content Marketing Institute.

Ondanks dat ik zelf niet zo’n fan ben van dit soort wij-van-wc-eend-onderzoekjes, lijkt de verwachting dat ROI steeds belangrijker wordt bevestigd te worden: 79 procent van de ondervraagde 5.000 marketeers uit 109 landen geeft aan dat ze de ROI van contentmarketing bepalen.

Maar wat bepalen ze dan eigenlijk? En is ROI wel bruikbaar als meetinstrument? Op basis van een aantal wetenschappelijke studies (onder andere Meng & Berger, 2012, Watson, 2013, Watson & Zerfass, 2013), concludeert Macnamara (2014) dat ROI als meetinstrument voor PR nogal problematisch is. Volgens hem zijn daar meerdere redenen voor.

We hebben geen idee wat ROI echt betekent

De eerste reden is dat ROI strak gedefinieerd lijkt te zijn, maar als je de verschillende definities nauwkeurig bekijkt, is dat niet zo. Macnamara schrijft dat netto- en bruto-rendementen (winst versus inkomsten) door elkaar worden gebruikt en dat het in sommige definities gaat om return rates en in andere weer om verhoudingen. Het gaat te diep om hier verder op in te gaan, maar wat we hiervan meenemen is dat PR-professionals de ROI vaak verkeerd berekenen, omdat verschillende definities resulteren in verschillende formules, die weer resulteren in verschillende ROI-resultaten. Dus, we denken dat als we over ROI praten, we het over hetzelfde hebben, maar dat is niet zo.

Deze conclusie van Macnamara is in lijn met de conclusies uit de European Communication Monitor (Zerfass, et al., 2011). In dit onderzoek (p. 64-65) wordt ROI bezien vanuit de standaarddefinitie die volgens de onderzoekers geldt in de economische en financiële wereld: “de verhouding tussen de financiële winst als gevolg van een activiteit en de werkelijke kosten van die activiteit”.

Bij het voorleggen van verschillende beschrijvingen en termen, blijkt 53 procent van de 2.209 ondervraagde communicatieprofessionals de standaarddefinitie te hanteren. Slechts 38 procent definieert ROI in monetaire termen en 71 procent vindt dat ROI gebruikt kan worden om de niet-financiële waarde van communicatie aan te tonen. De meerderheid van de professionals (83 procent) is ervan overtuigd dat ROI kan worden uitgedrukt in het behalen van communicatiedoelstellingen.

Of contentmarketeers ook niet precies weten wat er onder ROI verstaan wordt is natuurlijk niet onderzocht, maar als je googelt op ‘ROI van contentmarketing’ lijkt het logisch om te concluderen dat hetzelfde onderzoek onder contentmarketeers eenzelfde conclusie zou opleveren. Als je de blogposts over dit onderwerp namelijk bekijkt, zie je dat ROI gelijkgesteld wordt aan een veelheid aan termen, zoals KPI’s, verkeer, social shares, conversie, engagement, etcetera.

De term ROI lijkt in eerste instantie dus eenduidig, maar dat is niet zo. Bovendien lijkt het erop dat we niet eens weten waar we het over hebben, als we het over ROI hebben. Een substantieel deel van de professionals weet niet eens waar ROI echt om draait: een financieel resultaat.

Zerfass en collega’s veronderstellen in de Monitor dan ook dat de Europese beroepsgroep een gebrek heeft aan basiskennis over managementtheorieën en accounting. Dit is volgens hen een probleem want het losse gebruik van de term ROI door zoveel professionals is nutteloos en het kan de geloofwaardigheid en de reputatie van de communicatieberoepsgroep zelfs schaden.

ROI past niet bij complexe werkelijkheid van marketing

Een tweede probleem volgens Macnamara is dat veel PR-activiteiten geen financiële return hebben (bijvoorbeeld bij de overheid en PR in non-profit). En daarbij, PR is niet altijd gericht op de korte termijn, maar ook op de lange termijn, zoals het opbouwen van relaties. Deze lange-termijneffecten hebben dus geen directe financiële opbrengst. In veel gevallen is het volgens Macnamara zelfs niet eens mogelijk om de return on investment in financiële termen te berekenen, omdat communicatieprocessen in het algemeen complex zijn.

Dit geldt natuurlijk ook voor contentmarketing, omdat het crossmediaal is ingestoken, het (in de meeste gevallen) geen campagne is maar een doorlopende informatie- of contentvoorziening zonder begin- en eindpunt en het ook niet losstaat van de andere acties van het merk of de organisatie zoals het offline en online gedrag van het merk zelf. Deze complexiteit maakt het volgens Watson en Zerfass (2011) moeilijk dan wel onmogelijk om alle vormen van communicatie en marketing los te zien van andere alle andere activiteiten en organisatie-effecten. Vanuit deze optiek is het berekenen van een ROI voor contentmarketing onmogelijk en/of onwenselijk.

Watson en Zerfass (2011) schrijven dan ook dat de wens van professionals om een eenduidig, gesimplificeerd ROI-meetinstrument te ontwikkelen die de effectiviteit bewijst, niet overeenkomt met de complexe werkelijkheid van marketing en communicatie.

Wat dan wel?

Dus, diverse wetenschappelijke studies en artikelen tonen aan dat de toepassing van ROI binnen marketing en communicatie en dus ook binnen contentmarketing niet wenselijk en zelfs onmogelijk is. Maar wat dan wel? Ik geloof namelijk nog steeds dat de investeringen in welke vorm van marketing, en dus ook contentmarketing, getoetst moeten worden op hun effectiviteit. Want alle vormen van communicatie en marketing zijn een middel om andere doelen te bereiken. Welke doelen dat zijn, kan voor elke organisatie weer anders zijn. Maar dat je moet kijken of je de doelen hebt behaald, lijkt me niet meer dan logisch.

Watson en Zerfass (2012, in Macnamara, 2014) geven in eerste instantie als oplossing de zogenaamde ‘quasi-ROI’ meetinstrumenten die wel de complexiteit en de niet-financiële aspecten van PR omvatten, zoals return on impression, return on media impact, return on target influence, return on earned media, return on expectations. Toch zijn deze quasi-ROI-instrumenten volgens Macnamara ook niet de juiste oplossing. Want ook deze meetinstrumenten bieden geen standaard die voor één enkele interpretatie vatbaar is.

Samenwerking tussen wetenschap en praktijk

Een goede en werkbare oplossing wordt door Macnamara niet geboden, al ligt de oplossing volgens hem in een meer structurele samenwerking tussen wetenschap en praktijk, waarbij beide partijen zich dienen in te spannen wil het een succes worden.

De PR-professionals moeten volgens Macnamara breder kijken dan alleen maar naar het meten en evalueren van media: de media-focus is niet meer van deze tijd. De focus moet liggen op functionele, organisatorische en maatschappelijke resultaten, in plaats van op kwantitatieve resultaten zoals ‘likes’ en ‘follows’.

Verder dienen ze meer samen te werken met (sociaal) wetenschappelijke onderzoekers om modellen en kennis te ontwikkelen die valide en methodologisch sterk zijn. Tenslotte moet het opleidingsniveau van professionals hoger worden, met name op het gebied van onderzoek en communicatietheorieën en –modellen, en op het gebied van management door bijvoorbeeld het volgen van korte cursussen en postdoctoraal onderwijs.

De PR-academici moeten zich volgens Macnamara blijven focussen op het verduidelijken en standaardiseren van definities, terminologie en methoden van meet- en evaluatiemethoden. Deze standaardisatie is volgens hem het belangrijkst. Tevens dient verder onderzoek zich meer te richten op meet- en evaluatiemethoden van organisationele en maatschappelijke waarde van PR en corporate communicatie.

Maar deze inspanningen van wetenschappelijke zijde hebben geen enkel nut als er geen sprake is van kennisvalorisatie: academici moeten de impact van wetenschappelijk meten en evalueren tonen en makkelijk(er) toegankelijk maken voor professionals, zodat zij het begrijpen en kunnen toepassen. Dit vereist volgens Macnamara een voortdurende uitwisseling en samenwerking tussen wetenschap en praktijk, bijvoorbeeld via congressen, tijdschriften en panels.

Als afsluiting: een structurele samenwerking tussen praktijk en wetenschap is binnen de contentmarketing ook zeer wenselijk. Het probleem hier is echter dat er nog nauwelijks wetenschappelijk onderzoek beschikbaar is. Zo gaf voormalig bijzonder hoogleraar contentmarketing, Peter Kerkhof, vorig jaar nog een ontkennend antwoord op de vraag of er in de wetenschap aandacht besteed wordt aan contentmarketing (Custo, 2014).

Wetenschappelijk onderzoek naar contentmarketing is dan ook hard nodig. Maar, contentmarketeers moeten verder kijken dan hun (content)neus lang is en een meer structurele samenwerking met andere vakgebieden moeten aangaan, zoals dus met PR- en communicatiewetenschappers, om samen gestandaardiseerde en gevalideerde meet- en evaluatiemethoden van contentmarketinginvesteringen en –inspanningen te ontwikkelen.

Gebruikte bronnen

• Custo, 2014. Content Talk Magazine. Brussels: Custo. http://magelaan1.ipublishpro.com/127_Custo2014NL/ib/index.php
• Content Marketing Institute & MarketingProfs (2014). B2C Content Marketing 2015 Benchmarks, Budgets and Trends – North America. http://contentmarketinginstitute.com/2014/10/2015-b2c-consumer-content-marketing/
• Macnamara, J. (2014). The development of international standards for measurement and evaluation of public relations and corporate communication: A review. https://www.uts.edu.au/sites/default/files/acpc-pr-measurement-and-evaluation-review.pdf
• Meng, J. & Berger, B. (2012). Measuring return on investment (ROI) of organizations’ internal communication efforts. Journal of Communication Management, 16(4), 332-354.
• Watson, T. (2013). ROE may be more accurate than ROI. FiftyoneFiftyZero. http://fiftyonezeroone.blogspot.com.au/2013/03/roe-may-be-more-accurate-than-roi.html
• Watson, T. & Zerfass, A. (2011). Return on investment in public relations: A critique of concepts used by practitioners from communication and management sciences perspectives. PRism 8(1), 1–14. http://www.prismjournal.org/vol8_1.html
• Zerfass, A., Verhoeven, P., Tench, R., Moreno, A. & Verčič, D. (2011). European Communication Monitor 2011. Empirical insights into strategic communication in Europe: results of a survey in 43 countries. http://www.zerfass.de/ecm/ECM2011-Results-ChartVersion.pdf