Weinig bezoekers maar wel willen A/B-testen, het kan!

Een vraag die ik regelmatig te horen krijg is: “Hoeveel bezoekers heb je nodig om een goede test te kunnen doen?”. Het is goed om te beseffen dat het aantal bezoekers niet het enige stuurgetal is om te berekenen of een test wel of geen potentie heeft om uit te voeren. In de e-commercewereld zien mensen een bestelling als een conversie. Een directe verbetering hierin wordt dan ook vaak als doel gesteld. Maar er zijn ook veel subdoelen waarbij een verbetering waardevol kan zijn voor de webshopeigenaar en -bezoeker.

Berekening om te kunnen testen

Visual Website Optimizer heeft een handige online tool om te berekenen hoe lang het duurt voordat je significant resultaat behaalt op een test. Wanneer je hiermee speelt, zul je zien dat zelfs een test op een website met 10.000 bezoekers per dag, met slechts een conversie van 0,2 procent, meer dan 40 dagen moet lopen om een verbetering van 20 procent significant te krijgen.

Wij hanteren in principe altijd de regel dat een test minimaal 7 dagen en maximaal 30 dagen moet lopen om ervoor te zorgen dat externe factoren zo min mogelijk invloed hebben op de test. Voor het zojuist genoemde voorbeeld zouden we dus voorstellen om een subdoel te gaan testen.

Subdoelen (micro conversie)

Zoals mijn collega Wouter van der Heijden in zijn blog over macro- en microconversies al schreef, doet zo’n 2 procent van de bezoekers een aankoop en is de gemiddelde bounce 30 procent. Dit houdt in dat er nog ongeveer 68 procent van je bezoekers niet bounct, maar ook geen aankoop doet op je webshop.

Deze groep bezoekers zou je kunnen sturen om een subdoel te bereiken, om later eventueel je hoofddoel te bereiken. Bij menig webshop is naast het plaatsen van een order met een zo hoog mogelijke orderwaarde ook het inschrijven voor een nieuwsbrief een belangrijk doel. Dit is dan ook een doel dat je vaak met eenvoudige testen kunt verbeteren.

Voor meerdere klanten in diverse branches hebben we bijvoorbeeld een pop-up getest om een bezoeker erop te attenderen dat ze zich kunnen inschrijven voor een nieuwsbrief. Binnen zo’n pop-up toon je de voordelen van het ontvangen van jouw nieuwsbrief. Bij dit soort testen zien we al snel een groei in nieuwsbriefaanmeldingen van ruim boven de 100 procent. In de eerder besproken berekeningstool van Visual Website Optimizer zal je zien dat het verbeteringspercentage ook enorme invloed heeft op de doorlooptijd, wat het dus realistischer maakt om met een lager bezoekersaantal te gaan testen.

Andere subdoelen waaraan je waarde kunt hechten zijn bijvoorbeeld contact opnemen, downloaden van een pdf, product toevoegen aan de winkelmand of het aanmaken van een account. Subdoelen kunnen ook zo simpel zijn als het doorgaan naar een vervolgpagina. Als er uit analyse blijkt dat veel gebruikers op een productoverzicht of etalagepagina blijven hangen, zou je kunnen stellen dat het bereiken van de detailpagina het punt kan worden dat je wilt verbeteren.

Veelal is een test waarbij het doel slechts 1 á 2 stappen verder is gemakkelijker en met meer kans op een significant resultaat te testen dan gelijk het einddoel, namelijk de conversieverhoging, als meetpunt te nemen.

De wijziging

Als je gaat testen, is het van belang om niet te veel in een keer te testen. Als je begint met testen, wil je vaak wel 10 verschillende dingen weten. Als je kijkt hoe lang het duurt om alle onderdelen los te testen, zul je al snel het idee hebben om dan alle wijzigingen maar in één keer te testen. Het meest eenvoudige antwoord hierop is: doe het niet.

Door een grotere aanpassing is de kans ook groter dat je een effect behaalt in het gestelde doel. Er kunnen echter ook slechte aspecten aan de verbetering zitten die het totaal omlaag halen. Je zult dan het idee hebben dat je een geweldige test hebt gedraaid met maar liefst 20 procent verbetering, maar wanneer je het los had getest, had dit wellicht 30 procent kunnen zijn omdat 3 onderdelen uit de test voor een daling hebben gezorgd.

Uiteraard zijn wij ook wel eens genoodzaakt om meer dingen in een keer te testen. Als je verwacht dat één wijziging te weinig invloed gaat hebben op het testdoel zul je vaak aanvullende wijzigingen meenemen in de test. Mocht dit het geval zijn, houd er dan wel rekening mee dat de verbetering voor de gehele wijziging geldt en dat er alsnog slechter presterende onderdelen in kunnen zitten.

Afsluiting

Kortom: het is wel degelijk mogelijk om met een lager bezoekersaantal een test met betrouwbare resultaten uit te voeren. Belangrijkste punten om rekening mee te houden zijn:

• Hanteer een doorlooptijd van maximaal 30 dagen.
• Het hoofddoel van de website hoeft niet het hoofddoel van de test te zijn. Test ook eens met een subdoel dat uiteindelijk wel bijdraagt aan het hoofddoel.
• Houd je test beperkt, maar wel groot genoeg om het meetbaar te houden.