Vijf punten om goed in de gaten te houden bij A/B-testen

A/B-testing is niet de heilige graal om je conversie te verbeteren

Veel bedrijven overschatten zichzelf. Ze noemen hun organisatie ‘data-driven’, maar hebben in de praktijk de basics niet op orde. Dat is gevaarlijk, want dan zullen je inspanningen weinig opleveren. A/B-testen zijn de absolute basis van een data-driven organisatie. In dit artikel lees je de vijf basiszaken die in ieder geval moeten staan, voordat je kunt gaan nadenken over, bijvoorbeeld, het inzetten van AI.

Data zijn het vertrekpunt voor zo’n beetje elke afweging die in de digitale wereld wordt gemaakt. Veel organisaties hebben ‘testen, testen, testen’ dan ook als motto – of meer specifiek, vooral ‘A/B-testen, testen testen’. Neem een bedrijf als Booking.com, dat trots is op de duizenden A/B-testen die het tegelijkertijd heeft draaien. Ik kom vaak bedrijven tegen die ambiëren om op net zo’n hoog niveau data-informed te opereren. Op zich hoeft dat geen probleem te zijn. Als een bedrijf maar wel ‘data mature’ genoeg is en de basis voor het verzamelen van data aanwezig is.

Niet data-driven, eerder data-savy

Ik merk dat veel bedrijven zichzelf op dat vlak vaak overschatten. Ze zeggen data-driven te zijn, maar in werkelijkheid zijn ze vaak eerder data-aware of op zijn meest data-savvy. Wat mij betreft zijn de volgende vijf punten om een waardevolle A/B-test te kunnen draaien de absolute basis van een data-driven organisatie.

Erken dat je geen FAANG-internetgigant bent en fix the basics

Als een van deze punten geen onderdeel is van de basis van jouw organisatie, is verstandig om een stapje terug te doen. Erken dat je geen FAANG-internetgigant bent en fix the basics.

1. Statistische kennis

Voordat je überhaupt met A/B-testen begint, is enige statistische kennis vereist. Je moet bijvoorbeeld het verschil begrijpen tussen correlaties en causaliteit. Daarnaast is het essentieel dat je weet dat je resultaten niet zomaar kunt generaliseren. Als je bijvoorbeeld wilt onderzoeken of je beter een rode of een groene knop kunt gebruiken, en de A/B-test laat zien dat rood beter converteert, wil dat niet zeggen dat je voortaan al je knoppen rood moet maken. Rood was op het moment van testen, in de context van de rest van website-inhoud, voor die sample de betere keuze. Maar misschien was geel in die situatie nog wel veel beter geweest.

2. Definieer een proces

Als je serieus aan je conversie wilt werken, is het noodzakelijk om daar een standaard proces voor te definiëren. Anders introduceer je namelijk nog meer factoren die je resultaten mogelijk kunnen verstoren en is het onmogelijk om testresultaten met elkaar te vergelijken. Hoe proces eruit moet zien, verschilt per organisatie. Maar je kunt bijvoorbeeld beginnen met het analyseren van de customer journey van de gebruikers. Hiermee ontdek je waar de websitebezoekers precies vandaan komen en welke stappen zij doorlopen. Vervolgens kun je een conversie-review doen, waarmee je bepaalt welke webpagina’s, content of andere middelen de grootste conversiekillers zijn. Daarna kun je de focus verleggen naar de bezoekers door hun gedrag en interactie bestuderen op basis van heat maps, click maps, move maps en scroll maps.

3. Gebruik de juiste KPI’s

Bij A/B-testing wordt vaak alleen gekeken naar de top-KPI’s, ofwel macro-conversies zoals informatie-aanvragen of een bestelling. Dit zijn weliswaar belangrijke onderdelen van de conversie-funnel, maar de micro-conversies in eerdere stappen in de funnel zijn net zo belangrijk.

Bij A/B-testing wordt vaak alleen gekeken naar de top-KPI’s

Door die te optimaliseren, zorg je ervoor dat er uiteindelijk meer bezoekers onderin de funnel terecht komen. Het optimaliseren van micro-conversies is natuurlijk wel lastiger, aangezien het hier gaat om subtielere metingen dan het klikken op een bestelknop. Hier draait het om zaken als bounce-, click-through- en exit-ratio’s, die door een veelvoud aan zowel uiterlijke, inhoudelijke, of technische elementen beïnvloed kunnen worden.

4. Houd een vaste testduur aan

Voordat je een A/B-test uitvoert moet je een duidelijk begin en eindpunt hebben gedefinieerd. Een A/B-test laten lopen tot er een statistisch significante winnaar is (bijvoorbeeld totdat de rode knop beter presteert dan de groene of vice versa) lijkt misschien logisch, maar is het niet: je negeert daarmee de mogelijkheid dat het voor de sample niet uitmaakt welke kleur er gebruikt wordt. En dat is net zo’n reële uitkomst.

Geen resultaat is ook resultaat

Geen resultaat is ook resultaat. Definieer daarom dus altijd vóór elke test de looptijd, (al dan niet in combinatie met een minimale sample-grootte), bijvoorbeeld één business-cycle of een aantal weken. Vergeet niet om rekening te houden met factoren zoals ‘cookie-defection’, wat ervoor zorgt dat testresultaten niet meer betrouwbaar zijn na verloop van tijd.

5. Vraag echte feedback van gebruikers

Wat ik elke organisatie op het hart druk, is dat A/B-testing niet de ultieme manier is om je conversie te verbeteren. Stel dat een kale website uit begin jaren negentig met dikke koeienletters en een paar grote koopknoppen beter converteert dan een kleurrijke pagina met goede teksten en mooi beeldmateriaal, is dit dan de beste optie? Spoiler: waarschijnlijk niet. Het doel is om te verbeteren en daarvoor is het noodzakelijk om écht in gesprek te gaan met je bezoekers. Doe dat ook niet alleen via een online poll met multiple-choicevragen, maar voer echte gesprekken en luister goed naar kritiek en suggesties. Of maak gebruik van panelonderzoek, misschien zelfs op basis van eye-tracking. Hoe diverser je palet aan testmethoden, hoe meer valide je bevindingen.

Laat A/B-testing links liggen als een methode om mee te innoveren

Wel een nuttig instrument

A/B-testing is wel degelijk een nuttig instrument om je conversie te verbeteren, maar het is absoluut niet de heilige graal. Gebruik het vooral om kleinere details in de vormgeving of opbouw van een webpagina te optimaliseren, maar laat het links liggen als een methode om mee te innoveren. De echte conversiekiller is de manier waarop je websitebezoekers aanspreekt, enthousiasmeert en verder helpt in hun customer journey. Dat vereist vooral feeling hebben met je doelgroep, creativiteit en een goed ingeregeld proces voor conversie-optimalisatie.