Waarom we A/B- en MVT-testing verkeerd inzetten

8 mei 2012, 13:00

Het lijkt erop dat de wildgroei aan technologie en kanalen ons wat vervreemd heeft van de traditionele marketingprincipes. Principes die zeker niet out-dated zijn, zoals 'zet de klant centraal' en 'denk ik segmenten'. A/B- of multivariate testing (MVT) bijvoorbeeld, passen we vaak toe om de best werkende gemiddelde banner te bepalen, in plaats van juist slim te kijken welke banner voor welke bezoekerssegment het beste werkt. Op een andere manier over conversieoptimalisatie denken kan ons daarom veel helpen.

Social netwerk effect

Wist je dat je 45% meer kans hebt op overgewicht als je bevriend bent met iemand die overgewicht heeft? En je zelfs nog steeds een kansverhoging van 25% hebt als een vriend van een vriend overgewicht heeft? Uit onderzoek van o.a. Harvard-professor Nicholas Christakis blijkt dat er binnen sociale netwerken duidelijke clusters bestaan van groepen die gelijk denken, gelijk handelen en door dezelfde factoren beïnvloed worden. Enerzijds vertelt ons dit hoe belangrijk social media zijn. Maar meer nog vertelt het iets veel interessanters, namelijk dat mensen gedrag en attitudes van elkaar overnemen. En op die manier voorspelbare structuren van attitude en gedrag laten zien, binnen hun sociale netwerken. Gelijkgezinden kopieën elkaars gedrag en zijn daardoor voorspelbaar. Dat is fantastisch nieuws voor marketeers!

Segmenteren

Nu is dit geen nieuw idee. Het weerspiegelt eigenlijk het principe van segmenteren, dat we als marketeers al jaren gebruiken. Toch drukt het ons stiekem wél nog eens met de neus op de feiten en laat het zien hoe belangrijk segmenteren eigenlijk is. Zeker als je bedenkt hoeveel er te bereiken is met het denken in segmenten. Een recent voorbeeld van de Amerikaanse retail-keten Target illustreert dit met een leuke anekdote. Target kreeg een tijd geleden een boze vader over de vloer, zijn dochter kreeg coupons thuisgestuurd voor luiers en wiegjes. De vader beschuldigde Target ervan zijn dochter aan te moedigen om zwanger te worden, terwijl ze nog maar op de middelbare school zat. Een paar dagen later, toen de manager van Target de man nog eens belde, bood deze zijn excuses aan. Hij had nog eens goed met zijn dochter gesproken; ze is uitgeteld in augustus.

Hoe wist Target dit? … Algoritmes.

Algoritmes

Algoritmes gaan een steeds grotere rol in ons leven innemen. Ze besturen de liften die ons naar de juiste verdieping brengen zonder op een knop te hoeven drukken, maar bepalen bijvoorbeeld ook in aanzienlijke mate wat er op Wall Street gebeurt. Algoritmes kunnen dus razendsnel slimme voorspellingen doen in complexe situaties, situaties zoals consumentengedrag.

Het is duidelijk dat Target hier zijn weg al in heeft gevonden. Maar hoe staat het met de rest van ons? Waarschijnlijk kunnen we nog wat leren van die Amerikaanse online marketeers. Een belangrijke les is, volgens mij, het denken vanuit de klant in plaats van vanuit de organisatie. Niet alleen om de klant beter te dienen, maar ook om zelf succesvoller te zijn. Een goed voorbeeld daarvan is A/B- of multivariate testing, specifiek wanneer toegepast op onze eigen online kanalen.

Anders denken, anders testen

A/B- of MVT-tests gebruiken we nu vaak om campagnes op onze eigen website te optimaliseren, door te kijken welke uitvoering van bijvoorbeeld een banner het beste werkt voor de bezoekers. Voor álle bezoekers. Terwijl we eigenlijk weten dat onze website bezocht wordt door veel verschillende mensen. Stel nu dat een banner voor bezoeker type A fantastisch werkt, maar voor bezoeker type B erg slecht werkt, dan blijven we op dit moment in het ongewisse. Het betekent eigenlijk dat we nu dus optimaliseren voor een gemiddelde bezoeker. Een gemiddelde bezoeker die maar een kleine groep representeert, of in een extreem geval, misschien niet eens bestaat!

Wat ons veel meer zou helpen, is het toepassen van dit soort testprogramma's op die segmenten die we als marketeers al jaren gebruiken, en daarmee ons voordeel behalen uit de sociale principes die Christakis aanhaalt. Gelijkgezinden (m.a.w. segmenten) kopiëren elkaars gedrag en zijn daardoor voorspelbaar. Laten we die principes eens ontdekken en onze 'testpijlen' op segmenten richten. Wie weet, als we echt stoer zijn, kunnen we op termijn algoritmes gaan ontwikkelen die attitudes en gedrag binnen segmenten van online bezoekers voorspellen, zoals Target dat doet. Conversie-optimalisatie krijgt dan hele andere ordes van grootte. Kleine stappen in deze richting kunnen namelijk al forse verbeteringen met zich mee brengen. Want wat Target-marketeers kunnen, kunnen wij in Nederland ook (en waarschijnlijk zelfs iets subtieler).

Ruud Verstraeten
Product Marketeer bij GX Software

Ruud Verstraeten Product Marketeer bij GX Software, en mede verantwoordelijk voor de Web Content Management-oplossing GX WebManager en de Online Engagement-oplossing BlueConic. Naast zijn baan bij GX Software is Ruud mede oprichter van WikiBros, een klein app-ontwikkelings bedrijf dat o.a. de app “Skirt Alert for iPhone” uitbracht. Ruud is te bereiken op Ruud.Verstraeten@GXSoftware.com.

Categorie
Tags

8 Reacties

    Dylan van der Heij

    Mooi artikel man, denk zeker dat je gelijk hebt hierin. A/B is handig, maar helemaal perfect kan het nooit worden. Gek genoeg kan een beta vak als wiskunde daar wel verandering in brengen =)


    8 mei 2012 om 13:08
    Paul Hottinga

    Mooi artikel en raakt precies de kern. Vaak wordt testen al ingezet terwijl doelgroepen niet gesegmenteerd zijn en wordt er maar wat in het wilde weg getest.

    Belangrijk is bij de basis te beginnen en omgeving neer te zetten die zonder testen al geoptimaliseerd is op doelgroepen, gebruiksgemak, etc en daarna pas over testen gaan nadenken.


    8 mei 2012 om 19:35
    Philippe van Ooteghem

    Goed artikel en leuk geschreven!

    Wij doen zelf ook enorm veel aan MVT en we kwamen erachter dat je inderdaad met segmentering moet werken. Wij redeneren echter niet vanuit gelijkgestemden omdat dat in de praktijk erg moeilijk meetbaar is.

    Wij segmenteren op basis van fase in aankoopbeslissingstraject/engagementnivo.


    9 mei 2012 om 11:03
    ruudverstraeten

    @Philippe interessant, leuk om te horen dat jij dezelfde ervaring hebt. hoe segmenteren jullie hierop? Gebruiken jullie daar tools voor zoals BlueConic? (www.blueconic.com)

    @Paul Dank je, goede toevoeging inderdaad

    @Jordie interessant artikel, dank je!


    9 mei 2012 om 15:41
    Philippe van Ooteghem

    @ Ruud

    We gebruiken het Multi Touchpointmodel van Forrester als theoretische kapstok. Voor iedere fase in het beslissingstraject hanteren we een andere doelgroep targeting, met bijbehorende banners (die we MVT optimaliseren).

    Enkele voorbeelden zijn:

    1. nieuw bezoek

    2. bezoek die interactie geeft gehad met banner

    3. bezoeker die 1 keer is langs geweest

    4. bezoeker die 2-3 keer is langs geweest en max 30 pageviews heeft gehad

    5. bezoeker die een uniek produkt minstens 2 keer heeft bekeken

    6. bezoeker die in de winkelwagen is geweest, maar niet geconverteerd

    7. bezoekers die geconverteerd zijn (upsell)

    Deze segmenten duiden de fase waar de bezoeker is in het aankoopproces. Voor iedere fase gebruiken we andere banners met andere content. We gebruiken hiervoor onze eigen techniek en Appnexus.

    Doel is uiteraard om de juiste boodschap aan de juiste persoon te tonen op het juiste moment.


    10 mei 2012 om 08:25

Marketingfacts. Elke dag vers. Mis niks!