2 award-winnende A/B-testcases: Cleandeal en Miss Etam

Gisteravond waren de uitreikingen van de WhichTestWon-awards 2015. Elk jaar kunnen bedrijven en organisaties hun succesvolle en verrassende A/B-tests indienen, welke een jury op verschillende categorieën beoordeeld. Vervolgens delen ze de uitslag met de wereld via een webcast. Nederland was dit jaar goed bij de winnaars vertegenwoordigd met tests van onder andere De Nieuwe Zaak, Blue Mango en Traffic4u. In deze blogpost delen we met jullie de ins en outs van de gouden award-test voor cleandeal.nl en de zilveren award-winnaar voor missetam.nl, welke zijn uitgevoerd door De Nieuwe Zaak.

De jury van WhichTestWon beoordeelt de A/B-tests niet alleen op de grootte van het effect (bijvoorbeeld 20 procent meer omzet via de test-variant), maar ook op de testaanpak. De strategie die je volgt om tot een test te komen is namelijk bepalend voor de kans dat je:

1. succes hebt met je test-variant(en)
2. tot verrassende nieuwe ideeën en ontdekkingen komt, waarmee je je concurrenten voor blijft

De doelstelling en aanloop naar je test, de hypothese en analyse zijn daarin onderscheidende factoren. Hoe hebben Cleandeal en Miss Etam zich hierin onderscheidden?

Case 1: Cleandeal – bestellijsten

Gouden Award in de categorie pagina-indeling

Probleemstelling

Cleandeal heeft als groothandel in schoonmaakartikelen (b2b) te maken met vaak terugkerende klanten die hun voorraad willen aanvullen (bleek onder andere uit een online enquête). Voor Cleandeal is de loyaliteit van hun klanten dus van groot belang. Hierop richten zij hun service in. Op de website betekent dit dat de ‘mijn account’-pagina een relatief belangrijk onderdeel is. Via bewaarde bestellijsten kunnen klanten eenvoudig herhaalbestellingen plaatsen. Hier werd echter nog in beperkte mate gebruik van gemaakt.

Hypothese

De ‘mijn account’-pagina van cleandeal.nl begon met een uitgebreid overzicht van de persoonlijke informatie van de klant en de mogelijkheid om deze aan te passen of adressen aan het account toe te voegen. Daaronder werd pas de functionaliteit met betrekking tot de bestellijsten getoond. Wij verwachtten dat de klanten van Cleandeal niet in de eerste plaats geïnteresseerd zijn in hun account-gegevens, maar liever direct hun opgeslagen bestellijsten beschikbaar hebben. De hypothese was dat het naar boven plaatsen van de bestellijsten op de pagina zorgt voor een toename van herhaalbestellingen.

Variant A

Variant B

Resultaten

De resultaten waren indrukwekkend:

• 155 procent hoger openingspercentage van de opgeslagen bestellijsten (99 procent betrouwbaarheid)
• 15 procent meer bezoek aan productdetailpagina’s (96 procent betrouwbaarheid)
• 9 procent hoger conversiepercentage op bestellingen (86 procent betrouwbaarheid)
• 48 procent hogere waarde per bezoeker (96 procent betrouwbaarheid)

Dus klanten plaatsten niet alleen meer bestellingen, maar ook grotere bestellingen, omdat het meer intuïtief werd om gebruik te maken van opgeslagen bestellijsten en producten hieraan toe te voegen.

Wat leren we van deze case voor andere tests?

Deze test toont aan dat het loont om je in de behoefte en het gedrag van je klanten te verdiepen, alvorens een test uit te voeren. Laat de resultaten je inspireren om ook bij je eigen webshop te testen. Neem een winnende variant nooit klakkeloos over voor je eigen website, want voor elke doelgroep kan het belang van de bestel- of wensenlijsten verschillen en het resultaat anders uitpakken.

Als je op zoek bent naar een goed test-idee, denk dan ook buiten de standaard kaders van landingspagina’s, de productpagina’s en het bestelproces. Een accountpagina of bijvoorbeeld de klantenservice leveren soms een even zo substantiële bijdrage.

Case 2: Miss Etam – aftelbanner tot volgende dag bezorging

Silver Award in de categorie productpagina

Vraagstelling

Via een eerder door WhichTestWon gepubliceerde test (voor de personen met een pro-membership) weten we dat aftelbanners een positief effect kunnen hebben als het om een tijdgebonden aanbieding gaat. Miss Etam vroeg zich af of het ook werkt voor steeds terugkerende onderwerpen, zoals tot de tijd om te bestellen, zodat je nog de volgende dag je bestelling in huis krijgt. En als dit dan werkt, op welk moment van de dag kun je deze banner dan het beste starten?

Hypotheses

1. Het tonen van een aftelbanner, ‘Binnen [tijd] besteld, morgen bezorgd ‘ werkt alleen op een gedeelte van de dag
2. Hoe dichter je bij de tijd komt waar de banner naar aftelt, hoe groter het effect op het conversiepercentage (in positieve zin)

Variant A

Variant B

Resultaten

De aftelbanner had een zeer positief resultaat: gemiddeld 8,6 procent hoger conversiepercentage op bestellingen (99 procent betrouwbaarheid). Tegen onze verwachting in was het positieve effect de hele dag door aanwezig. Wat wel volgens onze verwachting uitpakte, was dat het effect steeds groter werd naarmate de tijd naderde waarnaar werd afgeteld.

Wat leren we van deze case voor andere tests?

Houd rekening met de mogelijkheid dat gebruikers aftel-banner-blind, of aftel-banner-moe worden. Wat gebeurt er bijvoorbeeld als we een aftelbanner voor een tijdelijke actie willen inzetten? Moeten we gebruikers dan gek maken met twee van die ’tijdbommen’ op de pagina?

Kortom: altijd blijven testen!