Website optimalisatie met A/B/N en Multivariate testen
A/B/N testen en MultiVariate Testen (MVT), je hoort de termen steeds vaker vallen. Het zijn methodes om verschillende content, designs, flows en dergelijke, op websites te testen op hun succes. Welke kleur button scoort het beste? Levert een vermindering in aantal stappen of de lengte van stappen in mijn boekingsproces een betere conversie op? Welk design levert de hoogste conversie op? De designer, marketeer, IT specialist en usability expert zeggen allemaal iets anders, maar wat scoort nou het beste op conversie? Of welke combinatie van designs scoort het beste? Met A/B/N testen en Multivariate testen is het mogelijk dit online en realtime te testen.
Multivariate testen is een methode waarmee het mogelijk is meerdere variabelen in één keer te testen, en tegelijkertijd de impact van de afzonderlijke elementen te meten, met als doel de optimale combinatie van input variabelen te bepalen. Een goede methode voor het optimaliseren van een boekingsformulier bijvoorbeeld.
Bij A/B/N testen worden verschillende pagina’s, banners, producten, boekingsflows etc. ten opzichte van elkaar getest. In tegenstelling tot Multivariate testen is hierbij de impact van de afzonderlijke elementen niet te testen. Dit is een goede methode om verschillende designs te testen, welke scoort het beste op gestelde succes events. Voordeel hiervan ten opzichte van MVT is dat minder conversies vereist zijn om betrouwbare uitkomsten te krijgen. Voor een redesign een goede methode om de impact real time te kunnen testen.
De markt lijkt nu klaar te zijn voor A/B/N testen en MultiVariate Testen (MVT). Steeds vaker vragen klanten naar dergelijke oplossingen. Omniture komt met Test & Target. De werking en inzet ervan ben ik momenteel aan het uitzoeken, zodat wij in de vraag van onze klanten naar dergelijke tools kunnen adviseren en voorzien. Na wat online trainingsmateriaal te hebben doorgenomen , is het tijd de bevindingen, voor en na-delen van deze tool eens onder de aandacht te brengen.
Omniture Test & Target is het product van Omniture voor het uitvoeren van Multivariate en A/B/N testen en tegelijkertijd kan hiermee getarged worden. In dit artikel zal alleen het testgedeelte besproken worden, in een volgend artikel zal ingegaan worden op het target gedeelte ervan.
Hoe werkt Omniture Test & Target?
Test & Target werkt met zogenaamde Mboxes (Marketing Boxes). Een Mbox is een bepaald gedeelte op je website waarin je content kunt veranderen en/of bezoekersgedrag kunt loggen.
Mboxes kunnen bepaalde delen van een pagina beslaan, een tabel of een gehele pagina.
Voorbeelden van Mboxes
De Mboxes zijn de verbinding tussen je HTML pagina’s en Omniture. Mboxes ontvangen informatie van je pagina en daardoor is het mogelijk verschillende content aan te bieden aan bezoekers op de locaties waar je de Mbox hebt gedefinieerd.
Voordeel van Test & Target is dat het snel en vrijwel zonder betrokkenheid van IT geïmplementeerd kan worden. Het enige wat vanuit IT gedaan dient te worden is het script op de pagina plaatsen, een refference aan het script toevoegen en de Mboxes om bepaalde onderdelen van je website zetten.
Nu is de website in principe klaar om te gaan testen. De inhoud van de Mboxes kan door bijvoorbeeld marketeers zelf worden veranderd met de gebruiksvriendelijke interface van Test & Target.
In de Mboxes kun je content veranderen en/of bezoekersdata loggen. De content kan bijvoorbeeld een HTML code, een image, CSS of javascript zijn. De verschillende contents worden offers genoemd.
Toepassing van Test & Target
Wanneer je bijvoorbeeld je boekingsformulier wil optimaliseren en testen, zou je Mboxes op verschillende pagina’s kunnen plaatsten en daarin verschillende content kunnen testen. Op de boekingsbevestiging-pagina plaats je dan de zogenaamde conversion Mbox. Zodra deze wordt aangeroepen wordt de conversie gemeten. Elke test die je opzet moet een conversion Mbox hebben, dit is wat je als webteam als succes event definieert.
Voorbeelden van Mboxes boekingsflow
In de interface kun je zien welke combinatie van content tot de hoogste conversie leidt, waarbij de betrouwbaarheid ervan ook gegeven wordt.
Screenshot Test & Target interface
Een succesvolle inzet van test en target op de amerikaanse website quickbooks.com, leidde tot een lift van 35% revenue per visistor in 30 dagen. In deze test werden 7 elementen getest en binnen elk element werden 2 verschillende contents getest (128 alternatieven). Test en Target berekende de best scorende combinatie, welke tot de aanzienlijke uplift in 30 dagen zorgde.
Voorbeeld van optimalisatie pagina met Test & Target
Aandachtspunten
Bij Omniture heb ik nagevraagd hoe het zit met de betrouwbaarheid, hoeveel conversies zijn nodig om een betrouwbaar resultaat te krijgen. Ongeveer 100 per recipe (een recipe is een combinatie van verschillende offers in de verschillende Mboxes ) was het antwoord. Er kunnen dus wel veel elementen getest worden, maar het kan wel even duren voordat daar betrouwbare resultaten uit verkregen worden. Het is dus belangrijk goed na te denken over de content van de elementen en welke elementen belangrijk zijn. Des te meer Mboxes en offers, des te meer mogelijke recipes in de mulitvariate test meegenomen moeten worden, des te meer conversies nodig zijn om betrouwbare data te verkrijgen.
Elke Mbox moet hetzelfde aantal offers bevatten voor het uitvoeren van een multivariate test, dit vraagt dus ook enige oplettendheid en vooraf goed bedachte test opzet.
Conclusie
Test & Target zie ik als een prima aanvulling op zowel kwantitatief als kwalitatief onderzoek voor het gericht optimaliseren van je website. Het is een erg toegankelijke en gebruiksvriendelijke tool, welke zonder veel tussenkomst van IT ingezet kan worden.
Doordat het mogelijk is zelf te kiezen welk percentage van de bezoekers de testpagina’s kunnen krijgen, kan de angst voor verlaging van de conversieratio weggenomen worden.
Het is wel belangrijk te beseffen dat bepaalde restricties bestaan. Bijvoorbeeld dat bij het uitvoeren van een multivariate test hetzelfde aantal offers per element vereist is, en dat je er zeker van moet zijn dat de elementen onafhankelijk van elkaar zijn. Daarmee heeft het opzetten van een test meer voeten in de aarde heeft dan aanvankelijk misschien gedacht wordt.
Het lijkt me trouwens een geschikte, interessante methode om de eeuwige discussies tussen de verschillende disciplines marketing, IT en usability experts aan een test te onderwerpen. Ik ben benieuwd wie er wint ;-).
Yvonne van Laarhoven is werkzaam als usability engineer bij Adverstiment. Als usability engineer adviseert en helpt zij klanten bij het optimaliseren van hun website. Optimaliseren door de bezoeker als uitgangspunt te nemen in plaats van eindstation, daarbij worden bedrijfsdoelstellingen en technische haalbaarheid niet uit het oog verloren. Binnen Adversitement academy verzorg zij tevens workshops usability. Naast het schrijven over usability op marketingfacts, schrijft ze op webanalyticsfacts in de rubriek usability.
Waar zit het nieuws in deze posting?
Het gaat deels over MVT maar vooral over 1 product en de mogelijkheden daarvan. Als je dan ook bedenkt dat de schrijfster werkt bij de reseller van dit product dan begint de posting aardig in de buurt van reclame te komen.
Jammer!
Waarom geen aandacht voor Memetrics, SiteSpect, Optimost of Google Optimizer?
@Yvonne, ik krijg het gevoel, bij het lezen van dit artikel, dat Multivariate test nieuw voor je zijn. Er is een ruim aanbod aan tools op de markt, waarover ook al met regelmaat geschreven is. Test&Target;lijkt voor mijn gevoel erg veel op Google Website Optimizer, dat gratis is en prima werkt.
Goede les voor Marco: als je advertenties opneemt in je rss-feed, zorg er dan ook voor dat die goed in de feed gemarkeerd staan (en niet alleen in de meta-informatie bij het bericht). Ik ging ook lezen vanuit het perspectief van een ‘normaal’ bericht, en pas na de 3e keer het woord ‘omniture’ gezien te hebben ging ik twijfelen aan de objectiviteit van het bericht 😉
Licht in de duisternis: het is geen advertentie, maar het bedrijf waar de schrijver werkt heet ‘advertisement’. Wat een ongelukkige samenloop van omstandigheden, want het bericht leest wel heel sterk als een advertisement (ook voor iemand met de nodige multivariate- en andere spss-kennis ;).
*gaat koffie halen*
😉
Niettemin (zoals al aangegeven) is de tekst erg advertentieachtig. Ik kende advertisement als bedrijf nog niet, dus ik nam aan dat dit woord sloeg op de status van dit bericht (namelijk een advertentie), en dat het vergeten was om in de titel mee te nemen voor de rss-feed. Het lijkt me daarom geen bijster onlogische conclusie.
@Matthijs, je noemt nou twee interessante dingen die WEL nieuwswaarde hebben. Dat zie ik in het artikel niet naar voren komen.
Voor mij is interessant om te we weten of het verschil tussen full-factorial en niet full-factorial enig nut heeft. Al ben ik daar direct sceptisch over, je test juist om erachter te komen welke variate de beste is. Variaties uitsluiten in de trend ‘deze zal toch wel niet werken’ is juist niet de bedoeling. De enige reden die ik kan bedenken is: ‘deze variatie mag absoluut niet’.
Matthijs
Het gaat hier om de grenzen. Natuurlijk is het zo dat iedereen hier schrijft over zijn/haar specialisme. Als je dat goed doet is het vanzelf reclame, vooral omdat de lezer er iest van leert. De lezer zal de schrijver dan ascocieren met het niveau van de content. Zelf doe je dit niet bepaald onverdienstelijk dus ik neem aan dat je het hiermee eens bent.
Maar deze posting kan ik niet anders zien dan reclame. Alle mogelijkheden van MVT worden eenzijdig belicht vanuit de mogelijkheden van 1 leverancier. Als de afzender dan reseller is van de leverancier dan zijn de grenzen overschreden.
Naast deze ongeschreven blogger ethiek is een ander probleem, het niveau van het artikel. Wat wilde Yvonne bereiken met dit artikel? Evenals Joost constateer ik ook dat het Rooky gehalte van de schrijfster je tussen de regels verblindend tegemoet schijnt.
Vooral de volgende zinnen uit Yvonne’s artikel zijn exemplarisch: ” Bij Omniture heb ik nagevraagd hoe het zit met de betrouwbaarheid, hoeveel conversies zijn nodig om een betrouwbaar resultaat te krijgen. Ongeveer 100 per recipe (een recipe is een combinatie van verschillende offers in de verschillende Mboxes ) was het antwoord”.
Bovenstaande doet vermoeden dat Yvonne nog niet het geringste inzicht heeft in statistiek. En over Omniture maak ik me ook zorgen als ik naar het antwoord kijk.
Betrouwbaar resultaat is afhankelijk van de steekproefgrote en het gemeten verschil tussen de alternatieven. Daarvoor bestaan simpele formules maar geen vuistregels. Vuistregels zijn zelfs gevaarlijk, want ze geven het vermoeden dat je doordacht het juiste alternatief kiest terwijl je er flagrant naast kan zitten.
Toch is er hoop. Yvonne stipt enkele belangrijke concepten aan. Bovendien geeft ze aan dat ze zich diepgaand in dingen kan verdiepen en dat ze dit prettig leesbaar kan overbrengen. Als ze daar wat ethiek en statistiek aan weet toe te voegen verheug ik me op een volgend artikel.
Recent heeft Google Website Optimizer toegankelijk gemaakt voor iedereen. Dus niet alleen voor mensen met een Adwords account.
Overigens ben ik nog geen multivariant test tegen gekomen waarbij jee meerdere pagina’s tegelijk optimaliseert. Oftewel je maakt een aantal variaties voor stap 1/pagina 1, een aantal variaties voor stap 2/pagina 2.
Nu moet je meerdere tests doen om een bepaald pad te optimaliseren.
Mijn doel van de post is geweest het delen van productkennis. En ja, ik had kunnen schrijven over Optimizer en andere paketten, maar daar heb ik mij (nog) niet in verdiept en daar kan en ga ik dus geen uitspraken over doen. Het product is ontwikkeld voor marketeers. Voor hen is deze post ook geschreven, om hen aan te zetten deze vorm van testen in te zetten. In tegenstelling tot google Optimizer kan na het plaatsen van Mboxes door marketeers zelf inhoud gemanipuleerd en getest worden, IT blijft daarin buiten beschouwing, omdat geen codes geplaatst hoeven worden.
Omniture basseert de 100 conversies op cases welke zij uitgevoerd hebben bij onder andere Skype en Vodafone. Hierin was de betrouwbaarheidsinterval van 95% op de geclaimde uplifts en drops van de toegekende succesevents gemeten vanaf ongeveer 100 conversies (deze info was puur om even om aan te geven dat het niet bij 10 conversies al het geval is, maar ook dat er geen 1000 nodig zijn). En ja, het is afhankelijk van variantie, belangrijker is de mogelijke oorzaken van grote variantie te minimaliseren tijdens de testopzet. Marketeers zijn doorgaans niet geinteresseerd in de statistiek die erachter zit, maar willen de resultaten zien.
Het artikel is geschreven om te voorzien in de vraag van klanten. Voor hen is het belangrijk een goede, snelle en gebruiksvriendelijke tool in te kunnen zetten. In de interface zijn de resultaten en bijbehorende betrouwbaarheidsintervallen direct zichtbaar, statistische kennis is voor hen dan ook niet nodig, wat ik als zeer positief zie voor de beoogde gebruikers doelgroep.
Ik kan niet anders dan toegeven dat ik zeer te spreken ben over de gebruiksvriendelijkheid van de tool, maar daar is niks mis mee lijkt me (dat blijft toch mijn vak).
@SEO bedrijven, met deze tool (ik noem geen namen ;-)) is het mogelijk meerdere tests tegelijkertijd te draaien.
@Yvonne – Je titel doet vermoeden dat het over het testen gaat met multi varianten en dergelijke. Dus dit is een advertotial. Misschien moet dat dan ook maar een rubriek worden 😉
Overigens ben ik van mening dat marketeers juist geïnteresseerd moeten zijn in statistieken. Zo leer je je publiek kennen. Alleen conversie meten is te plat.
Meerdere test tegelijkertijd kan in principe met iedere multi varianten tool. Het gaat mij specifiek om een test waarbij meerdere pagina’s samen getest worden om tot een beter einddoel te komen.
@Matthijs, ik zie je punt, alleen is het bij mijn websites totaal niet aan de orde. Ruimschoots traffic en geen enkele aanleiding om een variatie uit te willen sluiten.
Bedankt voor de verdere reacties. Ik denk dat iedereen de beste intenties heeft.
Off-topic
@Daniel, ik kan het niet laten even kort mijn commentaar hierop te geven. Yvonne schrijft hier een alleraardigst stuk over MVT met de beste bedoelingen. Daniel gebruikt vervolgen dit artikel om een statement te maken die TOTAAL geen toegevoegde waarde heeft. Bekritiseerd iemand op zijn of haar content en laat zelf aardig wat steken vallen door zijn zelfingenomenheid hiermee nog eens heel duidelijk naar voren te brengen. Daarom “haal eerst die balk uit je eigen oog, alvorens het strootje uit het oog van een ander te halen”.
Maar goed, het zal het ondoorgrondelijke academische niveau van deze Web Analytics specialist wel die niet begrijpt dat je sommige zaken onder 4 ogen moet bespreken en dat geldt ook voor goed bedoelde ’tips’.
Dit was mijn eerste en laatste commentaar op dit artikel. En Yvonne, keep up the good work en lekker blijven bloggen. Van dit soort kritieken steek je soms ook nog wat op 😉
@ Yvonne
Stuk was idd niet echt heel diep maar wel een goede poging! Aanvulling van Matthijs maakt veel goed
@Daniel
Er zijn meerdere mensen/bloggers die Marketingfacts gebruiken om links en rechts wat reclame te maken. Zie Yvonne der stukje als een eerste poging. Zelf kan ik dit (ook) niet en waag me er daarom maar niet aan.
@Inge
Als online marketing specialist lijkt het me dat je adversitement zou moeten kennen..?
Als een (soort) marketeer gaat het mij er idd ook om dat de test plaatsvind volgens een zo hoog mogelijk garantiemodel. Alle ins en outs hoef ik niet precies te weten. Je kunt m.i. niet gespecialiseerd zijn in alle (diepgaande) facetten van online marketing; onmogelijk!
Sta open voor de kennis van anderen en probeer daar zoveel mogelijk uit te halen.
Hallo,
Bij MetrixLab doen wij dit soort onderzoeken al een behoorlijk lange tijd en voor zeer veel organisaties. We hebben er een fantastische tool voor, kunnen hele websites met elkaar vergelijken als dat gewenst is en hebben eigenlijk vrijwel elke denkbare en wenselijke optie in de tool verwerkt.
Om eens wat te noemen: de verzamelde data kunnen gelinkt worden aan de omniture data van onze opdrachtgever.
Ik leg het graag een keer in detail uit aan geintresseerden, bel of mail maar naar MetrixLab.
plus offering extras which can announce this kind of the main benefit of the skepticism. cgddcebbdkkcadad
It is appropriate time to make some plans for the future and it is time to be happy. I have read this post and if I could I want to suggest you few interesting things or suggestions. Maybe you can write next articles referring to this article. I wish to read more things about it! ebagekkeaeedfdbb
Gerelateerde artikelen
Marketingfacts. Elke dag vers. Mis niks!
Marketingfacts. Elke dag vers. Mis niks!