Testen: welke metric kies je om succes te bepalen?

‘Always be testing’. Om de performance van je campagnes structureel te verbeteren en om te innoveren, is testen van groot belang. Een valkuil is dat je gaat testen om het testen. Het toetsen van de resultaten en het succes bepalen van je test is sterk afhankelijk van het vooraf stellen van de juiste success metric. In dit artikel noem ik vijf voorbeelden voor success metrics van een goede test.

Om niet te verdrinken in de data is een goede voorbereiding van belang. Voordat je begint met het opzetten van de test, vraag je jezelf af wat is het doel? Vijf voorbeelden van doelen die wij vaak gebruiken zijn:

1. Toename verkeer/ bezoekers
2. Verbetering van de kwaliteitsscore
3. Toename conversies
4. Toename omzet
5. Toename winst

Welke success metric past bij welk doel?

Om antwoord te krijgen welke variant de beste bijdrage levert aan één van bovenstaande doelen, is het belangrijk om de test op de juiste success metric te beoordelen.

Om je hierbij op weg te helpen, introduceren wij onderstaande Success Metric Matrix. In deze matrix is weergegeven welke success metrics je per doel moet gebruiken om testen te analyseren.

Figuur 1: Success Metric Matrix

Een significant resultaat

Voordat we dieper ingaan op de success metric, kijken we naar de voorwaarden die nodig zijn om je data zo betrouwbaar mogelijk te beoordelen. We willen uitsluiten dat het resultaat op toeval berust. Dit kunnen we toetsen middels statistische significantie en het bijbehorende betrouwbaarheidsinterval. Hoe hoger het betrouwbaarheidsinterval hoe groter de zekerheid dat het resultaat niet op toeval berust, maar zich vaker zal herhalen. Twee factoren die hieraan bijdragen zijn:

1. Minimum data
2. Time frame

1.Minimum data is de minimale hoeveelheid data die nodig is om een betrouwbare statistische significantie te berekenen. Deze kan je baseren op het volume van het verkeer en conversies dat op een dag of binnen een week gerealiseerd wordt. Als één volgende persoon een wijzigend verschil kan maken op het resultaat, dan is er nog onvoldoende data om resultaten van de test te analyseren.

2.Time frame. Hoe meer data je minimaal nodig hebt, hoe meer tijd je waarschijnlijk nodig hebt. Een korte tijdsperiode betekent minder data en daarmee een grotere kans dat de behaalde resultaten op toeval berusten (zie het voorbeeld in ‘figuur 2).

Figuur 2: Timeframe

Wanneer gebruik je welke success metric?

Nu we de basis voor het beoordelen van je data hebben behandeld, zullen we dieper ingaan op de doelen en de daarbij passende success metric.

Doel: Toename verkeer, Success Metric: Clickthrough Rate / Doorklik Ratio (CTR)

CTR wordt door Google gebruikt om bijvoorbeeld de relevantie van een advertentie te bepalen. Het is het percentage klikken uit het totaal aantal impressies (‘klikken’/‘impressies’).

• Voordeel: je realiseert relatief snel veel data, en weet zo snel wat tot meer verkeer en daardoor waarschijnlijk tot meer conversies en omzet zal leiden.
• Nadeel: meer klikken realiseren, wil niet persé betekenen dat het ook tot meer conversies zal leiden. Verkeer kan immers ook oriënterend van aard zijn.
• Benodigde variabelen: impressies, klikken
• Variabelen met een minimum hoeveelheid data: impressies en klikken

Doel: Toename conversies, Success Metric: Conversieratio

Conversieratio geeft aan hoeveel procent van de klikken tot een conversie heeft geleid. Deze kan als success metric worden gebruikt wanneer de impressie vooraf niet in overweging hoeft worden genomen. Dit is bijvoorbeeld het geval wanneer je test welke bestemmingspagina tot meer conversies leidt.

• Voordeel: je realiseert snel voldoende data voor een betrouwbare beoordeling
• Nadeel: een betere conversieratio hoeft niet per se meer conversies te betekenen. Het genereren van voldoende verkeer speelt hier namelijk ook een rol.
• Benodigde variabelen: klikken en conversies
• Variabelen met een minimum hoeveelheid data: klikken

Doel: Toename conversies, Success Metric: Conversie per Impressie (CPI)

Wanneer de impressie al een rol speelt bij de mogelijkheid tot een conversie, dan dient die meegenomen te worden in de analyse. Dit is bijvoorbeeld het geval wanneer men wil testen welke advertentietekst meer conversies oplevert. In feite toets je hier namelijk twee success metrics:

• CTR: klikken gegenereerd door de advertentietekst
• Conversieratio: conversies per landingspagina

Als wij hiernaar kijken is de Conversie per Impressie (CPI) als success metric te berekenen. Nu heb je inzichtelijk welke variant het meeste verkeer oplevert dat vervolgens converteert (zie figuur 3).

Figuur 3: Conversieratio vs. CPI

• Voordeel: Weten waar de meeste conversies gerealiseerd worden
• Nadeel: Veel data nodig voordat er significante conclusies getrokken kunnen worden. Dit zorgt voor een lange looptijd van de test.
• Benodigde variabelen: impressies, conversies
• Variabelen met een minimum hoeveelheid data: impressies, conversies

Doel: Toename Omzet of Winst, Success Metric: Omzet (Revenue) per Impressie (RPI)/ Winst (Profit) per Impressie (PPI)

Omzet (Revenue) per Impressie (RPI) geeft je inzicht in welke impressie zal leiden tot klikken die de hoogste omzet genereren. Wanneer je naast de omzetwaarde ook alle kosten inzichtelijk hebt, kan je nog een stap verder gaan en toetsen op ‘Profit per Impressie’. Let op, wanneer je niet alle kosten inzichtelijk hebt is het al interessant om alleen al de advertentiekosten eens tegen de omzet af te zetten.

Benodigde variabelen: impressies, omzet

Variabelen met een minimum hoeveelheid data: impressies, conversies

Het leuke van performance marketing is dat alle resultaten meetbaar zijn. Zodoende kunnen ook vrijwel al jouw ideeën getest worden en stelt het je in staat om gefundeerde beslissingen te maken. Blijf vooral (structureel) testen en jij zal zien dat je resultaten verbeteren!