Zo effectief is tv-reclame

Tv-reclame is minder effectief dan je dacht. Dat blijkt uit een grootschalig onderzoek in de VS naar de verkoopeffecten van vier jaar adverteren op tv, voor 288 verschillende merken. Daaruit kwam naar voren dat tv-reclame zeker effect kan hebben, maar wel aanzienlijk minder dan wat de afgelopen vijftig jaar is gepubliceerd in wetenschappelijke tijdschriften. Hoe kan dit?

De auteurs van het onderzoek wijten het verschil in effectiviteit in deze en voorgaande onderzoeken vooral aan de ‘publication bias’: een artikel dat niet of nauwelijks effect laat zien, heeft veel minder kans om in een wetenschappelijk tijdschrift terecht te komen dan een artikel met spectaculaire resultaten. Geldt de ‘publication bias’ dan ook voor artikelen over de effectiviteit van andere mediumtypen? Shapiro’s onderkoelde reactie: “Niets in ons onderzoek sluit die mogelijkheid uit.”

Uitschieters

Wat heb je nodig om algemene uitspraken te kunnen doen over de effectiviteit van tv-reclame? Je wilt onderzoek hebben naar zoveel mogelijk verschillende productcategorieën. En je wilt onderzoek hebben waarmee je causale verbanden kunt aantonen. Tv-reclame voor bier lijkt altijd effectief. Dat komt omdat de meeste bierbrouwers starten met hun campagnes in maart en april, als de temperaturen en daarmee de verkoop beginnen te stijgen. Maar gaan mensen meer bier kopen door de reclame, of omdat de mussen van het dak vallen? Als je de ROI (Return On Investment) van tv-reclame voor bier wilt berekenen, moet je corrigeren voor dat seizoenseffect.

“Kopen mensen meer bier door de reclame, of omdat de mussen van het dak vallen?”

Er zijn in het verleden een aantal grote ‘meta-studies’ gedaan naar de effectiviteit van tv. In een meta-studie worden alle onderzoeken die eerder gepubliceerd zijn in wetenschappelijke tijdschriften op een rijtje gezet, om zo tot algemene en generaliseerbare conclusies te komen. Over reclame-onderzoek worden vaak casestudies gepubliceerd, onderzoeken die betrekking hebben op één productcategorie, één merk of één campagne. Het probleem daarbij is dat vooral de positieve uitschieters in druk verschijnen. Als een campagne niet of nauwelijks iets doet, is er weinig reden om een artikel te schrijven. En ook redacties van wetenschappelijke tijdschriften publiceren liever succesverhalen: de ‘publication bias’. Maar dat betekent dat de meta-studies gaan over een verzameling van gepubliceerde geslaagde campagnes.

Effecten en publication bias

Shapiro, Hitsch en Tuchman hebben gebruik gemaakt van Nielsen-data over reclamebestedingen van vijfhonderd merken, gecombineerd met de verkoopcijfers van veertigduizend supermarkten en de aankoopcijfers van zestigduizend huishoudens in het Nielsen Homescan Panel, over de periode van 2010 tot en met 2014 (Shapiro, B.T., Hitsch, G.J. en Tuchman, A.E. ‘Generalizable and Robust TV Advertising Effects‘).

De televisiemarkt in de Verenigde Staten is verdeeld in DMA’s (Designated Market Area). Tv-campagnes worden niet altijd in elke DMA uitgezonden. De onderzoekers maken daar gebruik van om te controleren voor bijvoorbeeld seizoenseffecten en promotie-effecten. Omdat ze al hun modellen rapporteren (met en zonder correctie), zie je direct waarom het zo belangrijk is dat je voor dergelijke effecten controleert. Reclame lijkt (ten onrechte) veel effectiever als je dat niet doet.

“Reclame lijkt (ten onrechte) veel effectiever als je niet controleert op seizoenseffecten en promotie-effecten”

Zo weten ze uiteindelijk het netto causale effect van de tv-campagnes voor 288 merken te isoleren (niet alle merken adverteerden op tv, sommigen waren te klein om betrouwbare verkoopcijfers vast te stellen). In de paper zie je niet alleen het gemiddelde effect van een tv-campagne terug, maar ook de verdeling van de verkoopeffecten. Gecontroleerd voor verstorende variabelen blijkt de gemiddelde reclame-elasticiteit van een tv-campagne uit te komen op 0,0233. Bij 7,3 procent van de campagnes was sprake van een significant negatief effect, en in 66,3 procent van de campagnes verschilde het effect van de tv-campagne statistisch niet van 0. Overall is het effect behoorlijk wat minder dan bijvoorbeeld de gemiddelde reclame-elasticiteit van 0,23 uit een recent gepubliceerde grote meta-studie.

Om te checken of de hypothese over de ‘publication bias’ klopte, hebben de onderzoekers gekeken wat er gebeurde als ze alle cases met geen of een negatief effect uit de database verwijderden. Dan bleek de reclame-elasticiteit van tv vergelijkbaar met wat je in de literatuur aantreft.

In de paper wordt de methodologie die is gebruikt uitgebreid beschreven en op de website van de universiteit kun je zelf de data en de analyses bekijken. Zo transparant en goed gedocumenteerd maak je het zelden mee. Ik had toch nog een aantal vragen die ik heb gesteld aan Brad Shapiro. Zo wordt er in de paper niet ingegaan op de invloed van campagnebestedingen in andere media, naast tv. Een terechte opmerking, maar volgens Shapiro zijn de effecten van andere media over de verschillende DMA’s meestal constant. En daarbij heeft dat tot gevolg dat die effecten in het model nu eigenlijk worden toegekend aan de tv-inzet. In de modellen profiteert tv dus van de inzet van overige media.

“Merkgrootte blijkt geen systematisch effect te hebben”

Mijn tweede vraag betrof het gebruik van data op supermarktniveau: dat betekent dat vooral de grotere merken in het onderzoek terecht komen. Misschien is tv wel effectiever voor nieuwe (kleinere) merken? Shapiro antwoordt dat er wel degelijk een aantal nieuwkomers in de dataset zitten. Op de website kun je zelf de merken sorteren op grootte. En dan blijkt merkgrootte geen systematisch effect te hebben.

Het einde van tv?

Als onderzoeker kun je alleen maar jaloers zijn op zo’n mooie dataset en zo’n grondig onderzoek. Betekent dit nu het einde voor de tv-reclame? Dat lijkt me een te snelle conclusie. Want is die ‘publication bias’ niet net zo groot voor het onderzoek dat is gepubliceerd over de effectiviteit van andere mediumtypen? “Niets in ons onderzoek sluit die mogelijkheid uit”, zegt Brad Shapiro.

Ik zou tv dus niet bij voorbaat afschrijven. Zie ook dit pleidooi van Mark Ritson.

Er bestaan effectieve campagnes, op tv, maar vast ook buiten op straat, op de radio, in print en online. Dit onderzoek toont genadeloos aan dat het maken van een effectieve campagne geen vanzelfsprekendheid is. Als Nielsen, IRI of GfK in Nederland ook zo’n mooie dataset willen bouwen, houd ik me overigens aanbevolen.