Zo worden tijd en geld geen valkuilen voor A/B-testen

Data gedreven werken is een hot topic. Het is de cultuur van vrijwel ieder succesvol bedrijf om zoveel mogelijk te experimenteren en de onafhankelijke data uit te laten wijzen wat werkt en wat niet. Waarom? Omdat we weten dat onderbuikgevoel minder succesvol is dan ruwe data om beslissingen op te maken en ons onbewuste brein veel belangrijker is in het besluitvormingsproces dan het rationele bewuste brein. Door te experimenteren kunnen we dit meten.

Maar experimenteren heeft een hoop valkuilen. Zo zijn er valkuilen die makkelijker te herkennen en voorkomen zijn, zoals een lage hoeveelheid bezoekers. En valkuilen die lastiger zijn dan anderen, zoals kennis of buy-in van het management. Maar wat ik eigenlijk bijna altijd tegenkom zijn de volgende twee valkuilen: tijd en geld. In dit artikel wil ik een andere manier van data gedreven werken opperen, die je helpen deze twee valkuilen te vermijden.

Tijd en geld

Nieuwe features moeten live, integraties moeten gerealiseerd worden en producten verbeterd worden. Het liefst is het allemaal morgen live. Maar daar is nooit voldoende tijd voor.

Tijd is geld in de commerciële wereld dus voor een door data en bewijs gedreven werkcultuur heb je veel geld nodig. Alleen al tools als VWO, Optimizely en ABTasty zijn met grote bezoekersaantallen vrij prijzig (een oplossing hiervoor zou kunnen zijn om te experimenteren via een tag manager). Verder zijn goede conversie-specialisten schaars en verdienen ze een prima boterham. Vergeet ook niet dat je niet kunt voorkomen dat een deel van je experimenten een negatieve impact hebben en dus tijdelijk voor minder verkoop zorgen.

Als bedrijf wil je alles het liefst zo efficiënt mogelijk doen, maar zoals Peter Drucker al aankaartte:

“There is nothing so useless as doing efficiently that which should not be done at all.”  –  Peter Drucker.

Op deze manier lijkt het simpelweg live zetten van nieuwe producten, features en services de gemakkelijke oplossing. Maar hoe weet je of datgene waar je al je tijd en geld aan besteedt, ook daadwerkelijk de gewenste impact heeft op het gedrag van jouw bezoekers? Je wilt bewijs, voordat je iets uitvoert. Experimenteren is enorm waardevol. Het zorgt voor betere beslissingen en een duidelijke richting waar het bedrijf zich naartoe moet bewegen. Daarnaast geldt: hoe beter jij je bezoekers leert kennen, hoe hoger de winratio van je experimenten.

Rapid Assumption Testing

Als je een product ontwikkelt dan weet je normaal gesproken nooit 100% zeker of je product een klant daadwerkelijk gaat helpen. Het bouwen van een minimal viable product kost tijd en energie en zal niet altijd bijdragen aan een positieve business case. Als oplossing hiervoor opperde Rik Higham in dit artikel de Rapid Assumption Test.

Net als iedere nieuwe feature of nieuw product heeft een experiment een hypothese die omschrijft waarom iets ontwikkeld moet worden. In plaats van erop te vertrouwen dat je aanname klopt en je nieuwe feature of product resoneert bij je bezoekers, ga je eerst de assumptie testen dat iets beter werkt. Op deze manier creëer je een bottom-up cultuur waarin alleen geverifieerde assumpties uitgewerkt worden tot daadwerkelijke services of features.

Doe je dit ook voor je experimenten, dan voorkom je dat je onnodig veel tijd en geld kwijt bent aan het ontwikkelen van A/B-testen die niet de gewenste invloed hebben op het gedrag van je bezoekers en misschien zelfs voor verlies zorgen. Maar hoe test je op een betrouwbare en snelle manier je assumpties zonder een experiment te hoeven starten?

Smart Notifications

Met een tool als Smart Notifications kun je alle assumpties die je hebt over het gedrag van je bezoekers, eenvoudig testen door middel van kleine meldingen in de browser. Misschien denk je dat jullie hoge score voor de klantenservice belangrijk is voor je bezoekers? Of juist het feit dat je gratis kunt retourneren? Voor al deze assumpties over het gedrag van je bezoeker kun je A/B-testen opzetten waar een hoop tijd en energie in gaat zitten. Maar je kunt ook een melding op je website te plaatsen die tijdelijk een bepaalde feature van je site uitlicht (zoals je hierboven ziet met het filtergebruik).

Het bandit algoritme van Smart Notifications zorgt ervoor dat je je geen zorgen hoeft te maken dat je geld verliest en dat jij in zo’n kort mogelijke periode zoveel mogelijk assumpties kan testen en kan zien waar de focus moet liggen van je experimenten. De tool geeft na verloop van tijd zelf aan welke melding de hoogste conversie ratio heeft. In het voorbeeld hieronder zie je hoe we erachter kwamen dat er bij Cheaptickets een hoop onzekerheid omtrent bagage is bij bezoekers. Uiteindelijk bleek dat mensen vaak niet wisten of, en hoeveel, bagage er bij hun ticket zat.

Op basis van deze bevinding is er een experiment opgezet waarin duidelijk werd aangegeven of het ticket inclusief bagage was of exclusief en hoe je eventueel bagage bij kon boeken.

De volgende drie screenshots tonen het experiment. Te beginnen met de oude situatie in het boekingsproces.

Vervolgens werden er twee testvarianten van deze pagina gemaakt:

Testvariant A.

Testvariant B.

Dit experiment had een van de hoogste impacts tot nu toe. Op deze manier minimaliseer je de investering van tijd en geld en maximaliseer je het leerproces. Tom Chi, oprichter van Google X, benoemde het al:

“Maximising the rate of learning by minimising the time to try things” – Tom Chi.

Joost Fromberg schreef dit artikel bij Online Dialogue.