Dynamische a/b-tests: leer je klant kennen via e-mail

E-mail wordt nog regelmatig gezien als ‘looskanaal’, waarin we gedachteloos boodschappen naar klanten sturen. Maar als we e-mail gaan bekijken als interactief kanaal, als vervolginteractie, kunnen we er enorm veel van leren. Bijvoorbeeld met dynamische a/b-tests.

Wie naar de complexe dynamiek rondom advertenties op sociale netwerken of naar de ‘full funnel‘-aanpak van webwinkels kijkt, vindt e-mails misschien maar een beetje achterhaald. E-mail wordt inderdaad vaak gezien als een simpel kanaal om maar communicatie te ‘lozen’: we sturen berichten naar onze klanten en hopen dat ze die berichten kunnen waarderen.

Toch zijn we minder naïef dan het lijkt: we kijken vaak naar de gegevens die onze e-mailcampagnes genereren en concluderen dat de e-mails van vorige week aanzienlijk meer kliks opleverden dan de e-mails van deze week. Vervolgens vragen we ons af waarom de e-mails van vorige week aantrekkelijker werden gevonden dan de nieuwste campagne die we verstuurden.

De meeste marketeers zijn ook wel op de hoogte van de meest rudimentaire vervolgstap als het gaat om het leren van e-mails. Zij kijken niet alleen naar trends binnen een bepaalde periode, maar gaan ook actief experimenteren. Een van de mogelijkheden die we dan tot onze beschikking hebben, is de a/b-test. Daarbij versturen we een versie van onze e-mails (versie ‘a’) naar 10 procent van onze klanten. Een andere 10 procent van onze klanten krijgt versie ‘b’. Daarna bekijken we de gegevens en sturen we de e-mail die het hoogste conversiepercentage opleverde naar de resterende 80 procent.

Door onze gegevens nauwlettend in de gaten te houden en door a/b-tests uit te voeren, krijgen we meer grip op onze e-mails. De kennis die we opdoen, kunnen we gebruiken in volgende campagnes. In dit blogbericht bekijken we een paar nieuwe manieren waarop we van e-mails kunnen leren en waardoor we e-mail net zo’n aantrekkelijk kanaal kunnen maken als alle andere kanalen. Als we e-mail niet slechts zien als één batch (dat deden we al niet meer bij de a/b-test, want daar maakten we onderscheid tussen de 20 procent die de test-e-mail ontving en de resterende 80 procent), maar als vervolginteractie, kunnen we nog veel meer leren.

Dynamische a/b-tests

De eerste stap die we zetten wanneer we meer van onze klanten willen leren – en effectiever willen communiceren – is het uitvoeren van een dynamische a/b-test. Bij a/b-tests wordt de e-mailbatch opgesplitst in een testperiode en een uitbuitingsperiode, waarbij de resultaten van de test worden uitgebuit. Dat kan echter beter. We kunnen de overgang tussen deze periodes namelijk ook dynamisch maken.

Het basisidee is simpel: binnen de a/b-test is er tijdens de testperiode een kans van 50 procent dat je e-mail ‘a’ ontvangt en een kans van 50 procent dat je e-mail ‘b’ ontvangt. Als de conversie van e-mail ‘a’ na de test het hoogst blijkt, verandert de kans respectievelijk naar 100 en 0 procent. Door echter naar een langere periode te kijken, kunnen we die kansen nuanceren: zonder gegevens is er in eerste instantie een kans van 50 procent voor beide e-mails, maar als e-mail ‘a’ beter blijkt te scoren, kunnen we de kans veranderen naar, laten we zeggen, 66 vs. 33 procent. Een dynamische a/b-test levert gegarandeerd betere resultaten op dan een statische test. Juist de manier waarop de kans wordt aangepast, is wat tricky, maar daar hebben we inmiddels een oplossing voor bedacht.

Het leuke aan deze dynamische a/b-test is dat hij niet alleen beter presteert dan een statische test, maar ook dat er altijd nieuwe opties aan de test kunnen worden toegevoegd. Je kunt bijvoorbeeld automatisch nieuwe versies toevoegen aan de automatisch gegenereerde e-mail die wordt verstuurd wanneer de inhoud van het winkelmandje van een klant vervalt. Je doet dan geen simpele ja- of nee-tests meer, maar verbetert voortdurend.

Leren

Door e-mails te zien als vervolgstappen in je communicatie met de klant, krijg je zelfs nog meer mogelijkheden. Hoe stel je bijvoorbeeld de beste prijs vast voor een nieuwe onlinedienst die je introduceert? Als de prijs te hoog is, zullen niet veel mensen zich op de dienst abonneren, maar als de prijs te laag is, verdien je er niets mee. Waar ligt dus de balans?

Je kunt natuurlijk een onderzoeksbureau een prijzige analyse van je potentiële klanten laten uitvoeren, maar waarom zou je je niet baseren op je e-maildatabase? Bied de klanten bijvoorbeeld stapsgewijs in e-mails nieuwe tarieven en kijk hoe ze daar op reageren. Zo kun je gemakkelijk je winst berekenen. Er bestaan effectieve algoritmen om dit te doen (pdf). Bovendien testen we deze methode op dit moment en vergelijken we de uitkomsten met alternatieven (zoals onderzoeksbureaus). We houden je ervan op de hoogte. Waarschijnlijk gaan we het ‘dynamische prijzen’ of zoiets noemen.

Personalisatie

Wanneer je binnen een bepaald tijdspad kunt leren van opeenvolgende communicatie, moet je nog veel meer kunnen leren van de opeenvolgende communicatie met individuele klanten. Als je je wekelijkse nieuwsbrief altijd naar dezelfde groep ontvangers stuurt, kun je op basis van de reacties op de nieuwsbrief actief leren waardoor je klanten overstag gaan.

We kunnen bijvoorbeeld via herhaaldelijke e-mails leren welke productvoorkeuren je klanten hebben. Welke films vinden ze leuk? Van welke muziek houden ze? En zijn ze gek op fietsen? We kunnen deze vragen actief testen in e-mails en vervolgens een profiel van de klant samenstellen.

We kunnen echter nog veel verder gaan: waarom zouden we niet leren wat écht werkt voor de klant, bijvoorbeeld of hij of zij van kortingen houdt of niet? Of dat hij of zij gek is op populaire producten? We moeten e-mails dus niet alleen zien als een manier om stapsgewijs onze klanten te leren kennen, maar kunnen psychologische profielen ontwikkelen waardoor we ze beter kunnen aanspreken.

Kennis gebruiken

We moeten, kortom, e-mail niet zien als ‘batchkanaal’ of ‘pushmedium’, maar als een interactief kanaal dat je in staat stelt om je klanten te leren kennen. E-mail kan dus net zo opwindend zijn als een sociaal netwerk. Bovendien weet je dankzij e-mail met wie je praat, waardoor je meer kennis over de ander ontwikkelt dan op menig ander kanaal. Wij zoeken altijd naar nieuwe manieren om te leren van e-mails.

Ten slotte kun je alles wat je van je e-mailcampagnes leert gebruiken in andere kanalen en vice versa. Gebruik bijvoorbeeld de productvoorkeuren van afzonderlijke klanten, die je leerde kennen via e-mail, direct in je webwinkel en omgekeerd.

E-mail is best wel cool, toch?