Wat A/B-testing in e-mailmarketing je kan leren over consumentengedrag

24 april 2015, 05:00

A/B-testing in e-mailmarketing is een effectieve manier om meer inzicht te krijgen in de voorkeuren van je doelgroep. De impact van A/B-testing op de onderwerpregel blijft echter niet beperkt tot alleen het testen van de effectiviteit van onderwerpregel A of B. In dit artikel vertel ik aan de hand van een case van Rob Peetoom Hair & Beauty hoe framing met A/B-testing op de onderwerpregel klikgedrag in de e-mail beïnvloedt. Ook geef ik je drie tips hoe je deze inzichten kunt gebruiken voor je eigen e-mailmarketing.

Je onderwerpregel kiezen

Het kiezen van een bepaalde onderwerpregel heeft invloed op het aantal mensen dat je nieuwsbrief opent en doorklikt. Je hebt maar weinig tijd om de aandacht van je ontvangers te trekken, dus als je de onderwerpregel test, welke insteek kies je dan? Kies daarbij uit een informerende, cryptische of disruptive onderwerpregel. Bij een informerende onderwerpregel vertel je letterlijk waar de nieuwsbrief over zal gaan. In een cryptische onderwerpregel zeg je niet precies waar de e-mail over gaat en licht je een tipje van de sluier op. De disruptive onderwerpregel houdt een shockerende insteek in waardoor je de aandacht trekt en consumenten je e-mail openen.

Inzicht vergroten met A/B-testing

Als je meer inzicht wilt krijgen in de effectiviteit van verschillende soorten onderwerpregels, kun je A/B-testing doen. Hierbij test je twee varianten van een onderwerpregel in een klein deel van je database. De winnende variant wordt vervolgens naar de rest van je database verstuurd. Een waardevolle manier om de inzichten over je doelgroep te vergroten. Je kunt kiezen uit A/B-testing op de onderwerpregel of op de inhoud van je nieuwsbrief. In dit artikel bespreek ik louter A/B-testing op de onderwerpregel. Hierbij ontdekte ik namelijk een onverwacht bijeffect.

Onderwerpregels en consumentengedrag

Een A/B-test op onderwerpregel die Rob Peetoom deed, beïnvloedde meer dan alleen de effectiviteit van de onderwerpregel, maar ook het klikgedrag van de ontvangers in de nieuwsbrief. Als mensen een nieuwsbrief met onderwerpregel A of B openden dat naar een specifiek item verwees, was het aantal mensen dat doorklikte op het bijbehorende de item in de nieuwsbrief beduidend hoger dan wanneer niet naar een item werd verwezen. De reden hiervoor is dat mensen ‘geprimed’ werden.

Wat betekenen framing en priming

Om inzicht te krijgen in hoe A/B-testing het klikgedrag in de nieuwsbrief beïnvloedt, leg ik je uit wat framing en priming betekenen. Framing vindt overal om ons heen plaats en wil zeggen dat nieuws altijd op een bepaalde manier wordt ingekaderd. Het is onvermijdelijk, aangezien je niet al het nieuws even prominent kunt brengen. Dat zie je in het journaal en is op dezelfde manier van toepassing bij een nieuwsbrief. Bij e-mailmarketing vindt framing plaats doordat de verzender bepaalt welke onderwerpregel hij gebruikt en op welke manier hij het nieuws daarmee inkadert. Hiermee wordt de ontvanger geprimed doordat hij op een bepaald nieuwsitem attent is gemaakt, daar geïnteresseerd door raakt en dit vervolgens zijn handelen in de nieuwsbrief beïnvloedt (bron: Social Psychology).

Priming in de praktijk: case Rob Peetoom

Rob Peetoom verstuurt iedere maand een nieuwsbrief die wordt gesegmenteerd op geslacht. Vorige maand verstuurden zij de nieuwsbrief uit onderstaande afbeelding. Hierbij is er gedeeltelijk overlap tussen de items tussen mannen en vrouwen, maar zijn er ook specifieke items voor mannen of vrouwen. De nieuwsbrief voor mannen is verstuurd met een A/B-test op de onderwerpregel. Hetzelfde is gedaan met de nieuwsbrief voor vrouwen.

De onderwerpregels voor de nieuwsbrief van Rob Peetoom

Bij de nieuwsbrief voor mannen werden de volgende twee onderwerpregels gebruikt in de A/B-test:

A {voornaam}, Victoria’s secret model gespot!

B {voornaam}, baarden: hot or not?

Bij de nieuwsbrief gericht op vrouwen, werden de volgende twee onderwerpregels getest:

A {voornaam}, inspiratie voor je lentelook

B {voornaam}, de laatste trends van de runway

Bij de nieuwsbrief voor mannen is gekozen voor onderwerpregels die aansluiten op verschillende items uit de nieuwsbrief. Daarbij was het idee om dicht bij de belevingswereld van mannen te blijven. Bij de variant voor vrouwen is gekozen voor ietwat meer algemene onderwerpregels die niet op een specifiek item duiden. Hierbij is gekeken welke onderwerpregel tot de beste resultaten leidt.

Resultaten nieuwsbrief voor mannen

Onderwerpregel A: ‘Victoria’s Secret model gespot!’

In de nieuwsbrief voor mannen werd het item met als onderwerpregel ‘Victoria’s Secret model gespot!’ de winnaar van de A/B-test. Dat wilde zeggen dat de meeste mensen vanuit de nieuwsbrief met deze onderwerp hebben doorgeklikt. Tegelijkertijd was te zien dat er vooral een hoog doorklikpercentage was op het bijbehorende item over Victoria’s Secret. Maar liefst 15,2 procent van de mannen klikte op het item over Victoria’s Secret als zij dit in de onderwerpregel al hadden gezien, terwijl dit bij variant B met een onderwerpregel over baarden maar bij 7,4 procent het geval was.

Het in de onderwerpregel primen van de mannelijke ontvangers op een Victoria’s Secret-model, zorgde er dus voor dat deze veel meer doorklikten dan wanneer dit in de onderwerpregel niet genoemd werd. Hoewel dit effect langer na de test iets afzwakte, bleef het verschil in priming tussen de verschillende onderwerpregels nog steeds duidelijk zichtbaar in de bijbehorende nieuwsitems. Dat kun je zien in onderstaande tabel met de contentitems uit de nieuwsbrief voor mannen met bijbehorende doorklikpercentages.

Hetzelfde item van het Victoria’s Secret-model stond ook in de nieuwsbrief voor vrouwen. In de onderwerpregels werd hier zoals je hierboven kon lezen, niet naar dit item verwezen. In de A/B-test klikte 0 procent van de vrouwen op het item: niet in de A-variant en niet in de B-variant. In de winnende versie klikte uiteindelijk nog 2,5 procent van de vrouwen op het item, in tegenstelling tot 13,8 procent bij de mannen. Het item was bij mannen dus een stuk populairder dan bij vrouwen, terwijl de positie binnen de nieuwsbrief hetzelfde was. Een verklaring hiervoor ligt in het feit dat zij in de onderwerpregel niet zijn geprimed op het item.

Doorklikratio op het nieuwsitem over Victoria’s Secret in de nieuwsbrief voor vrouwen (hier werd het nieuwsitem niet benoemd in de onderwerpregel):

Variant B: ‘Baarden: hot or not?’

Hoewel variant B bij deze A/B-test voor mannen niet als winnaar uit de bus kwam, waren ook hier interessante priming-resultaten te zien. De nieuwsbrief met onderwerpregel over baarden leidde tot een click through rate van 28 procent bij het bijbehorende item. De nieuwsgierigheid is dus flink aangewakkerd. Hetzelfde item over mannen met baarden leidde bij variant A met de onderwerpregel over het Victoria’s Secret-model tot een click through rate van 16 procent. Deze twee items stonden bij beide varianten op dezelfde positie in de nieuwsbrief.

Doorklikratio op het nieuwsitem over baarden met als onderwerpregel ‘Baarden: hot or not?’:

Doorklikratio op het nieuwsitem over baarden met als onderwerpregel ‘Victoria’s Secret model gespot’:

Rob Peetoom nieuwsbrief voor vrouwen

Bij de nieuwsbrief gericht op vrouwen, werden de volgende twee onderwerpregels getest:

{voornaam}, inspiratie voor je lentelook

{voornaam}, de laatste trends van de runway

De nieuwsbrief gericht op vrouwen had twee ietwat meer algemene onderwerpregels in de A/B-test in tegenstelling tot de nieuwsbrief voor mannen. De onderwerpregels waren niet specifiek op items gericht maar op het overkoepelende thema van de nieuwsbrief. Er werd hier wel bewust gekozen om een variant te kiezen die inspeelt op de trendgevoelige vrouwen: ‘de laatste trends van de runway’ en meer algemene lente inspiratie voor je kapsel bij ‘inspiratie voor je lentelook’. Bij deze twee onderwerpregels waren geen duidelijke priming effecten zichtbaar.

Klikgedrag in de nieuwsbrief

Uit de resultaten van deze case is duidelijk zichtbaar dat de keuze voor een onderwerpregel invloed heeft op het klikgedrag in de nieuwsbrief. Het primen van ontvangers stuurt ze een bepaalde denkrichting op. In deze case werkte het benoemen van specifieke items in de onderwerpregel beter dan een algemene onderwerpregel. Uiteraard is de beste manier om erachter te komen hoe dat bij jouw bedrijf werkt door zelf aan de slag te gaan met A/B-testing.

Drie tips voor meer inzicht in consumentengedrag

Hierbij geef ik je drie tips om zelf mee aan de slag te gaan!

1. Heb oog voor de flow

Je lezer in een flow brengen begint bij de onderwerpregel. Zorg ervoor dat je die flow vasthoudt, dus dat de content uit de onderwerpregel terugkomt in de nieuwsbrief.

Kies een effectieve onderwerpregel die er echter wel voor zorgt dat mensen worden geprimed op het artikel wat jij het meest belangrijk vindt. Het is natuurlijk jammer als je een super opvallende onderwerpregel bedenkt met als gevolg dat de meest mensen daarna doorklikken op dat item, terwijl je dat eigenlijk niet het meest interessante item vond dat je de ontvanger mee wilde geven. Hoe cool en opvallend je onderwerpregel dan ook is: heb oog voor het inhoudelijke element van je nieuwsbrief en waar je wilt dat mensen op doorklikken.

Zo las ik eens een onderwerpregel van Intermediair waarin stond:

Daarna stond hetzelfde item bovenin de nieuwsbrief:

Echter verloor ik op de landingspagina volledig het gevoel met de flow waar ik in zat, doordat ik bij een artikel uitkwam met als titel: ‘Topcriminelen zijn ook een soort topbestuurders’. Omdat ik nu wel wilde weten wat er nu over haar werd gezegd, scande ik het artikel zoekend naar iets over Doutzen. Op de derde pagina van het artikel stond een zin gewijd het topmodel. Gelukkig heeft Intermediair tegenwoordig wel goed oog voor de flow voor de lezer.

2. Denk na over de positie in de nieuwsbrief van het item waar je naar verwijst in de onderwerpregel

Als je een nieuwsbrief maakt dan kies je op welke positie je bepaalde nieuwsitems plaatst: hoe ver deze naar boven of naar beneden komen te staan. Als je ervoor kiest om het nieuwsitem wat je in de onderwerpregel benoemt bovenaan te plaatsen, is dat het eerste wat de ontvanger ziet als hij de nieuwsbrief opent.

Je kunt ook beslissen om het betreffende item juist onderaan je nieuwsbrief te plaatsen. De kans is groot dat de geïnteresseerde ontvanger op zoek gaat naar het item uit de onderwerpregel, als hij het item interessant genoeg vindt. Een voorbeeld van een succesverhaal hierbij is de dagelijkse nieuwsbrief van Blendle. Blendle verstuurt een dagelijkse nieuwsbrief waarbij het item dat in de onderwerpregel wordt benoemd daarna onderaan de nieuwsbrief wordt benoemd. Doordat het nieuwsitem helemaal onderaan staat, ziet iemand terwijl hij daar naartoe scrolt alle andere nieuwsitems. Aan de ene kant verleid je iemand hiermee dat hij om meer items te bekijken dan alleen het nieuwsitem uit de onderwerpregel. Tegelijkertijd loop je het risico dat de aandacht van de ontvanger verslapt.

3. Beperk het aantal items in de nieuwsbrief

Je wilt de lezer boeien, dus zorg voor een pakkende nieuwsbrief en beperk het aantal nieuwsitems. Hoewel het verleidelijk is om alle interessante onderwerpen te bespreken, is het een overweging waard of je misschien beter iets vaker een nieuwsbrief kunt versturen met weinig nieuwsitems per nieuwsbrief. Het primen van je lezer in de onderwerpregel bij een nieuwsbrief met weinig nieuwsitems zorgt ervoor dat hij/zij minder onderwerpen mist wanneer hij/zij op het bijbehorende item doorklikt dan wanneer er diverse items worden besproken.

Doe jij ook weleens A/B-tests en wat zijn jouw inzichten hierin wat betreft consumentengedrag?

Charlotte Eggens
Interim Head of Marketing / Content Marketeer bij 07:22 CEST

Categorie

7 Reacties

    Martijn van der Tuin

    Hoi Charlotte,

    Wat een interessant artikel.

    Ik kijk uit naar je volgende bijdrage!

    Martijn


    24 april 2015 om 21:01
    jmoons

    Interessant artikel, maar ik denk dat de verklaring veel eenvoudiger is dan hier gesuggereerd wordt.

    Nieuwsbrieven worden niet altijd gelezen. De onderwerpregel bepaalt voor een groot deel wie de mail gaat lezen. Als de onderwerpregel over baarden gaat, ben ik als baardloze man minder geneigd de nieuwsbrief te openen. Dat de baardmannen die de mail openen vervolgens ook het artikel willen lezen, ligt voor de hand. Kortom: de A/B-groepen die de mail lezen zijn verschillend van samenstelling, omdat ze op basis van de toegewezen experimentele conditie zelf beslissen of ze aan het experiment meedoen.

    Als je het effect van priming zou willen aantonen, zou je dezelfde onderwerpregel moeten gebruiken, maar een andere kop (in de mail zelf, niet direct zichtbaar). Ik denk dat het effect dan sterk gereduceerd of misschien wel verdwenen is.


    28 april 2015 om 11:25
    Charlotte Eggens

    @Martijn, dank voor je compliment. 🙂

    @Jonas, bedankt voor je interessante feedback.

    Zoals je al zegt, nieuwsbrieven worden niet altijd gelezen. Het gaat ons erom dat we ontdekken welke onderwerpregel voor een klant tot de beste resultaten leidt. Dat is waarom we A/B testing doen, om de statistieken te optimaliseren. Bij deze A/B test op de onderwerpregel wil ik het causale verband aantonen tussen de keuze voor je onderwerpregel en de items waar vervolgens op wordt geklikt. Daarmee wil ik mensen bewuster maken in de keuze voor hun onderwerpregel.

    Bij deze A/B test op onderwerpregel kun je in de inbox (voordat hij geopend wordt) de verwachting uitspreken dat zich in beide A/B groepen evenveel mannen met als zonder baard bevinden. Vervolgens zie je dat op de bijbehorende items beduidend meer wordt geklikt. Daarmee kun je in deze case wel degelijk een priming effect zien. Deze A/B test vindt plaats in de inbox (framing) en beïnvloedt wat er vervolgens gebeurt in de nieuwsbrief (priming).

    Wat je zegt is absoluut interessant om te onderzoeken, louter priming binnen de nieuwsbrief. Een leuk idee om aanvullend te kijken wat de invloed is van wel/geen kop in je nieuwsbrief over een bepaald nieuwsitem terwijl je dezelfde onderwerpregel gebruikt. Dat ga ik doen en kom ik in een later artikel op terug.


    28 april 2015 om 14:46
    jmoons

    Dank je voor de toelichting.

    Absoluut mee eens dat je hiermee hebt aangetoond dat als je in de onderwerpregel iets zet, dat dan vaker dat artikel wordt gelezen (door te klikken op de mail en vervolgens de link aan te klikken). Met het onderwerp trek je immers lezers die daar meer over willen weten; het is leuk om te zien dat dat werkt en om te zien hoe groot het effect is.

    Ik zou dit alleen geen priming noemen. Wikipedia geeft wel een mooie definitie van priming, nl. “an implicit memory effect in which exposure to one stimulus influences a response to another stimulus”. In jouw geval, men kiest onbewust vaker voor het artikel omdat dat in de kop heeft gestaan.

    Het punt is nu dat de mensen die niet geïnteresseerd zijn in baarden, de tweede stimulus nooit te zien krijgen. Dus er zijn volgens mij twee verklaringen voor de door jou gevonden effecten: 1. een interesse-effect, waarbij de hogere CTR het gevolg is van zelfselectie in de inbox – dit heeft niet direct met priming te maken, net zomin als het priming is dat ik een tijdschrift met een interessant onderwerp uit een rek pak en vervolgens het artikel ga lezen dat op de cover staat; 2. een priming-effect waarbij het feit een onderwerp al gezien te hebben in de titel (“implicit memory effect”) de lezer sneller laat klikken op dat onderwerp. Met de gekozen opzet kun je die twee niet uit elkaar trekken.

    Zou leuk zijn als je het zou testen, ben benieuwd.


    28 april 2015 om 16:57
    jmoons

    Wat ik eigenlijk bedoel te zeggen – een onderwerpregel heeft waarschijnlijk zowel een bewust, expliciet effect (aandacht richten, interesse wekken), als een impliciet, automatisch effect (wat ik dan priming zou noemen – implicit). Net zoals ik bv. sneller ben in een reactietijdtaak als ik een woordje al heb gezien, soms dagen eerder. Dat gaat volledig automatisch, ik heb er geen controle over, vaak merk ik het niet eens. Het zou interessant zijn om die twee te kunnen scheiden, al is dat in de praktijk nog lastig lijkt me.


    28 april 2015 om 17:13
    Jasmijn Hemersma

    Interessant artikel. Ik zie dat je een uitroepteken hebt gebruikt in 1 van de onderwerpregels. Heb je ook gekeken wat het effect is van de afleverbaarheid van je mail bij het gebruik van het uitroepteken? Dit vergroot naar mijn weten de spamgevoeligheid van je bericht.


    29 april 2015 om 13:48
    Charlotte Eggens

    Hoi Jasmijn,

    Bedankt voor je reactie! Onze ervaring is dat je gewoon een uitroepteken of vraagteken kunt gebruiken in je onderwerpregel. Dit laat bij ons geen negatieve invloed zien in de resultaten van je e-mailmarketing.


    30 april 2015 om 12:30

Marketingfacts. Elke dag vers. Mis niks!