Hoe betrouwbaar zijn websitestatistieken?
Gedetailleerde en betrouwbare statistieken zijn onmisbaar om het bezoek en de performance van een website te meten en de effectiviteit van marketing campagnes te kunnen versterken. Hiervoor gebruiken veel organisaties Sitestat of Google Analytics voor hun website en veel advertentie-netwerken DART. Maar wat doe je als je bijvoorbeeld een bannercampagne opzet waarbij verschillen tussen de metingen van het advertentie-netwerk en je eigen analytics-pakketten enorm verschillen?
Na analyse van de website statistieken van een webshop van een van onze klanten merkten we dat er nogal verschillen zijn tussen de metingen van verschillende pakketten (Google Analytics, DART en een standaard website statistieken script). Een banner campagne zou volgens de metingen van de website uitgever vaak vele kliks meer opgeleverd hebben dan de statistieken van de webshop zelf. Daarnaast kwam de ‘kliktrend’ vaak niet overeen tussen beide pakketten: de ene keer werden er bij DART bijv. enorm veel meer kliks getraceerd dan bij Google Analytics, en op andere dagen was het aantal kliks bij Google Analytics weer veel hoger dan bij DART. Deze verschillen waren ook niet zoals de eerder beschreven verschillen tussen web analytics pakketten van enkele, maar tientallen procenten. Na een korte zoektocht blijkt dat we niet de enigen zijn die dit ervaren.
Ik ben benieuwd welke verklaringen voor deze verschillen aan zijn te wijzen (zoals verkeerde implementatie van web analytics pakketten). Herkennen jullie dit probleem? Speelt dit bijvoorbeeld bij jullie klanten? En in hoeverre is er inzicht in de kwaliteit van de web analytics pakketten en de onderlinge verschillen?
Lijkt me een typische vraag voor de webstatistici onder ons; Daniel of Matthijs, kunnen jullie hier iets op zeggen?
Zelf hanteer(de) ik overigens 10-procent als acceptabele grens. Verschillen houd je namelijk altijd.
Ik ken een instituut die hier onderzoek naar zou kunnen doen… 😉
Verder zijn onze ervaringen als webstatistici met Google Analytics goed te noemen. We werken ook veelvuldig met Dart en zien daar nagenoeg geen verschillen. Een klik gaat via Adwords of een banner naar Dart, en dan weer door naar GA. Lijkt me eerder een kwestie van een slechte implementatie van GA dat deze grote verschillen ontstaan. Alleen al het feit dat GA meer dan Dart zou meten is haast onmogelijk aangezien alle kliks via Dart naar GA gaan.
Daarnaast zijn constante afwijkingen niet erg. Als de verschillen bijvoorbeeld constant 10-15% zijn is het pakket nog steeds goed te gebruiken voor trendanalyse.
Bij een juiste implementatie zijn discrepanties tussen verschillende databronnen altijd te verklaren. In feite vergelijk je vaak appels met peren. De belangrijkste oorzaak die hierbij een rol speelt is:
* Afhakers tussen moment van klikken en het moment dat de pagina geladen is.
1. Ik klik op een Google Adword
2. Google meet de klik
3. De link wordt geopend en de website geladen
4. De reactie op de Adword wordt gemeten in het web analytics pakket
Tussen moment 2 en 4 valt bij Adwords normaal gesproken 15% tot 20% af.
Dit probleem kan veel groter zijn bij Dart, omdat (afhankelijk van de banner en de plaats daarvan) in bepaalde gevallen de kans groter is dat iemand per ongeluk reageert op de banner en nog sneller afhaakt.
Andere factoren die mee kunnen wegen:
* Verschillen in cookie acceptance van de cookies van verschillende pakketten, waardoor verschillen kunnen optreden in het aantal herhaalkliks of het aantal ‘unieke kliks’.
* Indexering van banner link URLs in Google, zodat in het web analytics pakket een reactie wordt gemeten voor de banner, terwijl de bezoeker in feite via een natuurlijk zoekresultaat in Google binnenkomt. (dit probleem is te voorkomen)
* Implementatiefouten: broken links, zeer trage redirects, fouten in de tracking code, etc.
In feite moet de kliktrend wel overeen komen. Als de kliktrend niet overeen komt, dan moet er ergens een fout gemaakt zijn.
@Koen, ik heb nu van een viertal klanten de Adwords gegevens naast de metingen van Google Analytics gelegd en kom niet hoger dan een 5% afwijking. Die 15 tot 20% lijkt me dan ook zeker aan de hoge kant, of zijn hier uitgebreidere onderzoeken naar geweest?
@ André: dit is ook een van de redenen voor dit artikel. Mocht dit bij veel bedrijven spelen, dan kan dit voor ons een reden zijn om hier verder onderzoek naar te doen.
@ Koen: zijn bedrijven zich hier ook bewust van als zij een website statistieken pakket kiezen? In dit geval werden de statistieken van verschillende pakketten vergeleken, maar volgens mij gebruiken veel bedrijven 1 pakket voor hun website analyse.
En zijn er bijv. standaarden voor de metingen waaraan alle pakketten voldoen?
Ja het is een probleem waar ik dagelijks mee te maken heb. Ons bureau beschikt over veel digitale kennis. Dit is aan de ene kant fijn, maar aan de andere kant merken wij heel vaak op dat wij andere dingen meten als de ‘anderen’. Met alle gevolgen van dien (felle discussies etc.). En dan hebben we het zowel over meetverschillen bij banner campagnes als directmail acties door mailbrokers. Ik persoonlijk steek deze verschillen – omwille van het belang van onze klant – nooit onder stoelen of banken. Ik vind het zelfs mijn verantwoordelijkheid om de partijen – die de resultaten aan ons doorgeven – bij de les te houden.
Technisch gezien is dit eigenlijk pure onzin, want ik geloof er nog steeds in dat het systeem sluitend gemaakt zou moeten kunnen worden. Tot die tijd… …slapen doen we ‘s nachts!
Als je zover bent, dan hoor ik het graag 😉 Ik houd me van harte aanbevolen voor een beta-test…
Als ik tegen die tijd nog niet met pensioen ben zou ik ook zeker graag meedoen.
Verschillen treden niet alleen op bij statistiekenpakketten, maar ook al bij trafficsystemen. Niet zelden leveren sites bij campagnes standaard bijvoorbeeld 10% extra verkeer om dit verschil alvast te compenseren.
Vanuit het mediabureau constateren wij ook vaak verschillen tussen Dart en pakketten van klanten. Ik herken me in de redenaties van Matthijs en Koen. Wij hanteren als acceptabel meetverschil ook ca. 5%. Komt eigenlijk alleen met livestat voor. Voordat een Dart klik uiteindelijk op de site beland is de kans op uitval al groter.
Ik geloof niet/nooit dat systemen die “achter elkaar” werken, exact hetzelfde kunnen meten.
5%
Daarnaast is er een gebruikersgroep die onzichtbaar is voor bepaalde webstatters; Firefox gebruikers met een AdBlock plugin laden geen banners en komen dus niet naar voren in de statistieken.
Afhankelijk van het soort website kan deze gebruikersgroep groter en kleiner zijn, misschien is het een interessant onderzoek om deze verschillen eens te meten. Misschien dat dit juist voor een belangrijk deel de discrepantie in de verschillende statistieken veroorzaakt.
@Sander: deze posting ging over de discrepantie tussen het aantal kliks dat dat gemeld wordt Dart vs. Google Analytics.
Met AdBlock wordt de banner niet geladen,
dus er wordt ook niet geklikt,
dus de kliks worden helemaal niet gemeten (door geen enkel pakket)
De discrepantie in aantal kliks kan dus onmogelijk door AdBlock veroorzaakt zijn.
(Discrepanties in aantal views is in theorie mogelijk, maar het aantal views van een externe banner meet je meestal toch niet in je eigen Google Analytics.)
Goed om te zien dat er intern onderzoek wordt gedaan naar de verschillen in metingen en klanten regelmatig op de hoogte worden gesteld van de verschillen tussen de analytics pakketten zodra analytics worden geimplementeerd. Ik denk inderdaad ook dat het belangrijk is vooraf open kaart te spelen en klanten hier inzicht in te geven, zodat ze er achteraf niet zelf achter hoeven te komen.
Het wordt me in ieder geval duidelijk dat verklaringen in de verschillen afhangen van een groot aantal factoren en meetgegevens van verschillende pakketten niet eenvoudig 1:1 met elkaar vergeleken kunnen worden en behoorlijk wat discussie kunnen opleveren.
Ik ben benieuwd of Daniel nog extra aanvullingen heeft?
We zijn bij TNO inderdaad bezig om te kijken of we bedrijven kunnen ondersteunen d.m.v. onderzoek. Zijn er wat jullie betreft naast bovengenoemde punten nog gebieden waar onderzoek zou kunnen helpen om meer inzicht in o.a. verschillen in statistieken (of gerelateerde onderwerpen) te krijgen?
Ik sluit me helemaal aan bij Koen en Matthijs.
Aanvullend kan ik nog stellen dat cookies en robots vaak de oorzaak zijn van de verschillen.
Bij cookies maakt het veel uit hoe een website zijn cookies serveert. Zijn ze first party, third party, door de server geleverd of via een script? Al deze zaken kunnen dramatische invloed hebben op meetresultaten. Soms zijn ze niet te overzien bij een audit waardoor meetverschillen onverklaard blijven.
Robots kunnen ook invloed hebben. Steeds meer robots manifesteren zich als browsers en openen javascripts. Hierdoor lijken ze op gewone bezoekers en komen ze alszodanig voor in de statistieken. Het komen en gaan van robots is natuurlijk zeer onregelmatig.
Toch ben ik het met Koen eens. Als een implementatie goed is uitgevoerd en alle facetten van een systeemarchitectuur bekend zijn, dan moeten verschillen verklaarbaar zijn.
Ik ben het er helemaal mee eens dat er veel factoren meespelen in discrepanties tussen web analytics pakketten. En ik wil zeker niet beweren dat het wél heel simpel ligt.
Maar in de case die Martijn schetst, gaat het specifiek om verschillen in kliks tussen Dart en Google Analytics.
Dan geldt eigenlijk geen enkele reden die je noemt:
– log-file vs tag-based oplossing: beide pakketten zijn tag-based
– cookie acceptance rates: we hebben het over kliks, dus cookies spelen geen rol
– JavaScript disabled: in dat geval meten beide pakketten niets en treedt er geen discrepantie op
Wat er als mogelijke oorzaken overblijft, heb ik beschreven in mijn eerste reactie (en daarbij kunnen ook bots een rol spelen, zoals Daniel al aangaf)
Op basis van de 150 websites die we analyseren, komt het percentage dat JavaScript uit heeft staan neer op slechts 0,5%.
Het gaat uiteindelijk om de klant. Die heeft een winkel en hij heeft uitgerekend dat hij 100 bezoekers nodig heeft om 1 product te verkopen. Daar maakt hij een marge op, waardoor hij bedrag x kan uitgeven per bezoeker. Een simpel rekensommetje.
Dat bedrag besteed hij aan een online campagne, waarbij hij er van uit gaat dat hij bedrag x kwijt is aan 100 bezoekers. Echter, door de verschillen krijgt hij voor bedrag x niet 100 bezoekers maar 75. Dus kan hij niet uit…
uit een project dat ik net gedaan heb, zijn de verschillen bijna 100%, in het nadeel van de adverteerder. Wie goed zit en wie fout is erg lastig te herleiden. ik zou het erg goed vinden als er 1 onafhankelijke meetstandaard komt…
wie biedt?
@ Patrick: ik ben nog wel benieuwd naar de onderzoeken die je aanhaalt van amerikaanse sites/discussie groepen, kun je een paar concrete studies noemen?
We zijn inmiddels een maand verder en bezig een project op te starten om de verschillen in pakketten voor statistieken inzichtelijk te maken.
Als jullie interesse hebben, laat het me weten via martijn.staal [at] tno.nl
Gerelateerde artikelen
Marketingfacts. Elke dag vers. Mis niks!
Marketingfacts. Elke dag vers. Mis niks!