Nieuws van Webanalisten (106): A/B-test analyse fouten & Google Analytics nu met multichannel funnel
Steeds meer bedrijven maken gebruik van A/B-test software tools. Aangezien de meeste A/B-test software zelf aangeeft welke variant de winnaar is, lijkt fouten maken in de analyse van de resultaten haast onmogelijk. In de praktijk blijkt dit niet altijd het geval. Daarom een artikel over 6 veel gemaakte fouten bij A/B-test analyses. Daarnaast aandacht voor een nieuwe functionaliteit binnen Google Analytics: Multi Channel Funnels (of Trechters voor meerdere kanalen).
Let goed op als je een A/B-test analyseert
A/B-testen begint bij veel organisaties steeds meer gebruikt te worden als vast onderdeel van het continue optimalisatieproces. Op een eenvoudige wijze kan direct op online bezoek worden getest wat de juiste inhoud van de website moet zijn. We zien het gebruik van A/B-test software tools dan ook hard groeien.
Doordat de meeste A/B-test software zelf aangeeft welke variant de winnaar is, lijkt fouten maken in de analyse van de resultaten haast onmogelijk. Maar schijn bedriegt! De rol van goede webanalyse blijft hierbij cruciaal.
Volgens Senior Conversion Specialist Ton Wesseling zijn er 6 veel gemaakte fouten bij A/B-test analyses.
1. Onzuivere testpopulatie
De grootste valkuil is volgens Wesseling het feit dat een random verdeling van bezoekers over de testvariaties er niet voor zorgt dat deze groepen ook evenredig zijn verdeeld. Specifieke subgroepen zorgen voor onterechte conversie uitschieters of dalen in testvarianten.
Je verzamelde dataset moet gezuiverd worden van testdeelnemers met eventuele browserproblemen en (onterechte) uitschieters in hoogte of aantallen conversies van 1 bezoeker. Ook afwijkend koopgedrag van vaste ‘fans’ of aankopen door affiliate programma’s die je belonen met waardepunten zodra je kunt aantonen dat je bij een deelnemende partij een product of dienst hebt afgenomen, kunnen een vertroebeld beeld van je data-analyse geven.
2. Slechts kijken naar conversies
Omdat je bezig bent met gedrag en het beter inspelen hierop is het niet de opzet om alleen te kijken naar de eindconversie.
A/B-test learnings dienen te gaan over de pogingen om een betere dialoog te voeren. Een A/B-test zonder significante conversiestijging kan op de lange termijn zelfs waardevoller blijken dan de A/B-test met significante conversiestijging.
3. Te vroeg stoppen van de A/B-test
Een valkuil bij A/B-testen: stoppen zodra er significante verschillen zijn. Anderzijds heeft het geen zin te blijven doortesten totdat je verschil ziet. Bepaal vooraf de duur van de testperiode om te voorkomen dat je eigenlijk een lagere significantie behaald.
4. Vergeten onderling te meten
Vergeet ook niet om de onderlinge varianten t.o.v. elkaar te vergelijken. Gebrek aan significante verschillen van de testvariaties tegenover de originele setting wil niet zeggen dat er geen significante learnings zijn in de verschillen tussen de testvarianten onderling.
5. Cross browser effecten
In de praktijk switched men nog wel eens van browser (denk bijvoorbeeld aan de kantoor PC en de PC thuis). Dit effect komt echter zo vaak voor dat dit type (herhaal)bezoeker prima evenredig verdeeld wordt over de verschillende testvariaties. Onthoud dan wel dat bezoekers waarschijnlijk 2 of meer variaties gezien hebben in de dialoog van kennismaking tot conversie… Analyseer dus de effecten op de unieke bezoeker maar ook op de losse sessie.
6. Uitgestelde conversies vergeten
Sommigen van de bezoekers die al vlak voor de start van de A/B-test met een dialoog bezig waren, zullen tijdens de A/B-test de originele versie te zien krijgen. Zij zullen anders reageren dan de bezoekers die na de startdatum een andere variant te zien krijgen. En bedenk: ook na afloop van de test vervolgen bezoekers de dialoog met gevolgen in de prestatie van testvarianten.
Het complete artikel van Ton Wesseling is te vinden op www.webanalisten.nl.
Google Analytics heeft een nieuwe functionaliteit beschikbaar
De Multi Channel Funnels (of Trechters voor meerdere kanalen) is de officiële naam en kun je in de nieuwe Google Analytics versie vinden onder de tab ‘Mijn conversies’.
Het overzichtsscherm toont een overzicht van het aantal conversies maar vanaf nu ook het aantal ‘ondersteunende conversies’. Dit betekent dat bezoekers op de website zijn gekomen via kanaal 1 en uiteindelijk geconverteerd zijn via een ander kanaal.
In het ‘Assisted Conversions’ rapport vind je een overzicht van alle kanalen waarbij inzichtelijk wordt gemaakt in hoeveel gevallen dit kanaal in het conversieproces een rol heeft gespeeld, maar niet als laatste bron van waaruit een bezoeker uiteindelijk is geconverteerd.
Daarnaast kun je zien hoeveel ‘interacties’ een bezoeker met de website heeft gehad voor dat deze uiteindelijk is geconverteerd.
De mooiste functionaliteit van Multi Channel Funnels is misschien wel dat de interacties die bezoekers met de diverse campagne-uitingen hebben, ook visueel in kaart worden gebracht.
Naast de door Google standaard herkende kanalen Adwords, organisch zoekverkeer, verwijzende sites en direct verkeer, wordt verder gebruik gemaakt van de campagnes zoals je deze via de campagne parameters in Google Analytics hebt getagd.
Al met al een hele waardevolle toevoeging in Google Analytics, waar velen al jaren op wachtten.
Meer weten over deze nieuwe Google Analytic functionaliteit? Lees dan het artikel dat Egan van Doon hierover schreef op webanalisten.nl.
Webanalisten.nl is sinds 2008 aanwezig op internet als platform voor online analyse en optimalisatie. Meer dan 40 gastauteurs schrijven wekelijks over hun praktijkervaringen met ons mooie vakgebied. 2 wekelijks wordt hier op marketingfacts.nl een samenvatting van geplaatst.
“een random verdeling van bezoekers over de testvariaties er niet voor zorgt dat deze groepen ook evenredig zijn verdeeld.”
In de statistiek is het zo als je een sample random over bv 2 groepen verdeeld, dan worden mogelijke verstoringen op de dataset gelijk verdeeld over bv de 2 groepen. Genoemde bovenstaande argumentatie kan dus eigenlijk nooit opgaan indien er een zuivere random selectie wordt gemaakt als verdeling over bv die 2 groepen. Je mag er hopelijk vanuit gaan dat de tooling gebruikt om A/B testen te doen, er echt een random verdeling wordt gemaakt?? Indien dit zo is dan wordt 1 van de belangrijkste regels van statistiek overschreden en is de uitkomst van het experiment nooit valide.
Heeft de onderzoeker in dit artikel bewijzen van bepaalde tools waarbij de selectie van de verdeling niet random gebeurt? Ik begrijp dus niet waarom dit de belangrijkste valkuil is. Je mag er wat mij betreft vanuit gaan dat hier door de makers van de tools de nodige aandacht aan besteed is.
Ook het stopzetten van de test bij significante verschillen. Je stelt van te voren een test doel vast. Indien dit voor jouw conversie percentage is op site bezoek, en de test geeft aan dat er een significant verschil wordt gevonden, dan kun je rustig de test stopzetten. Statistisch gezien is er bv een 95% zekerheid dat 1 testvariant een verschil in conversiegedrag laat zien tov de andere variant. let wel: we hebben het hier over een statistische benadering! Dit betekent nog altijd dat er ook een kleine kans is dat beide test varianten geen verschil laten zien tov elkaar, echter kan deze kleine kans toegeschreven worden aan toeval eerder dan aan de verschillen die bestaan tussen de test varianten. Ik ben het eens met de onderzoeker dat je wellicht verder moet kijken dan alleen conversiepercnetage op je bezoek, maar dat is niet de opzet geweest van het experiment. Een inhoudelijke verdere analyse is belangrijk.
Wat ik verder altijd doe nadat een test is afgelopen is een diepere analyse van de herkomst van de bezoekers. Je zult zien als je dieper in de analyse kijkt dat je marketing channels ziet die juist het omgekeerde laten zien dat de uitkomst van de test. Dit is zeer nuttige informatie voor bijvoorbeeld het verder optimaliseren van landingspaginas voor diverse campagnes.je zult versteld staan wat je soms kan tegen komen….