Vergelijking HBX Analytics en Onestat op Marketingfacts.nl
Marketingfacts gebruikt sinds een aantal maanden HBX Analytics om de website te meten. Op verzoek van Marco is er door Adversitement een korte analyse uitgevoerd waarbij de cijfers van Onestat en HBX met elkaar worden vergeleken. Hiervoor is de periode juni, juli en augustus 2007 gebruikt. Om een eerlijke vergelijking uit te kunnen voeren zijn alleen metrics gebruikt die zowel in Onestat als HBX beschikbaar zijn. Per maand worden de page views, visits en unieke bezoekers (new visitors, daily en monthly uniques) in kaart gebracht. Een belangrijk verschil met betrekking tot de implementatie van beide pakketten op Marketingfacts is het gebruik van een “first party” cookie door HBX en een “third party cookie” door Onestat. Het Stonetemple rapport dat eerder al op Webanalyticsfacts en Marketingfacts werd aangehaald geeft al veel mogelijke oorzaken voor de verschillen.
Het eerste dat opvalt aan de cijfers is het feit dat HBX consistent meer page views meet dan Onestat. Een mogelijke verklaring is dat de HBX code eerder wordt uitgevoerd dan de Onestat code. Daarnaast gaat een vergelijking tussen het aantal pageviews alleen op als op iedere pagina zowel HBX als Onestat code staat. Om een beter beeld te krijgen is ook het aantal visits onderzocht. Ervan uitgaand dat de meeste bezoekers hun bezoek op de homepage zullen beginnen (waar zowel HBX als Onestat code staat), zal het aantal visits elkaar niet veel moeten ontlopen. De grafieken laten zien dat dit ook het geval is. Er zit slechts een heel kleine marge tussen HBX en Onestat.
Grotere verschillen treden op wanneer de visitor-metrics worden vergeleken. HBX rapporteert vrijwel altijd een lager aantal nieuwe bezoekers en een lager aantal unieke bezoekers. De belangrijkste reden hiervoor is het gebruik van een “first party” cookie door HBX, waar Onestat een “third party” cookie gebruikt. Diverse onderzoeken, waaronder Comscore en Stonetemple, geven aan dat een deel van de bezoekers cookies niet accepteert (15%, Stonetemple) of op regelmatige basis verwijdert (31%, Comscore). Als een cookie niet wordt geaccepteerd of wordt verwijderd, zal een bezoeker bij een volgend bezoek opnieuw als een nieuwe unieke bezoeker worden herkend.
Als de unieke bezoekers op maandniveau worden geanalyseerd nemen de verschillen nog verder toe, waarbij HBX dus meer bezoekers herkent als terugkerende bezoekers. Gelet op de genoemde percentages lijkt de gemiddelde Marketingfacts-bezoeker niet zeer actief met het verwijderen van cookies, aangezien de verschillen tot maximaal 5% beperkt blijven. Dit komt overeen met de 4,6% die Visual Sciences rapporteert voor het aantal bezoekers op Marketingfacts dat geen “third party” cookies accepteert. Op de langere termijn zal dit verschil mogelijk groter worden, omdat een groter gedeelte van de Marketingfacts bezoeker van een cookie is voorzien en dus herkend kan worden. In de eerste weken na een implementatie zal het aantal nieuwe bezoekers (new visitors) altijd een stuk hoger liggen in vergelijking met een aantal maanden later.
Tot slot geldt dat er altijd veel kanttekeningen zijn te plaatsen bij een dergelijk onderzoek gezien de grote hoeveelheid factoren die een rol spelen. De positie van de code, het gebruik van cookies, de implementatie op de website en de gebruikte metrics hebben allemaal invloed op het uiteindelijke resultaat. Op korte termijn zal aan de hand van de beschikbare gegevens in HBX meer aandacht worden besteed aan het gedrag van de Marketingfacts-bezoekers op basis van een uitgebreidere set van metrics. Wat zouden jullie graag willen analyseren op de Marketingfacts website?
Ja.
Leuk dat er verschillen zijn.
Maar welke is nu beter?
de verschillen vallen mij mee moet ik eerlijk zeggen.
Interessante analyse en dank ook voor het delen hier 🙂
@ Henkie
Aangezien ik dagelijks werk met HBX ben ik niet de aangewezen persoon om hier een oordeel over te vellen. Doel van de posting was om aan te geven waar de verschillen zitten tussen de twee pakketten, zonder hier direct een waarde-oordeel aan te verbinden. Welk pakket de beste keus is, is afhankelijk van de eisen, het budget en vaak ook een persoonlijke voorkeur.
@Christian
Helemaal mee eens. De HBX accounts van een aantal grote accounts laten aanmerkelijk grotere verschillen zien m.b.t. de acceptatie van “third party” cookies.
@ Christian
edit: …. HBX accounts een een aantal grote klanten….
@ Marco
Mogelijk een goed moment om het bereik ook uit te drukken in andere relevante metrics, zoals aantal pagina’s dat per bezoek is bekeken, gemiddelde tijd per bezoek, loyalty, frequency, etc.
@Matthijs: zeker, als je een voorstel hebt hoor ik het graag. Misschien in een nieuwe posting eens ingaan op welke metrics nu wel en niet relevant zijn om een site te beoordelen vanuit perspectief adverteerder?
In dat kader hebben we al wel vaker geschreven over KPI’s maar dat is vaak vanuit perspectief publisher.
@Matthijs – mijn punt is echter vooral dat iedereen zelf ook al weet dat er verschillen zijn tussen verschillende pakketten. Van die wetenschap op zich wordt echter niemand veel wijzer. Verhalen over third party cookies, third party cookies, bovenaan in de code etc zijn allemaal niet interessant, ténzij daarmee een antwoord gegeven kan worden op de vraag welke het nauwkeurigst is. Ik snap dat je er niet echt objectief in staat, maar van een business consultant verwacht ik juist op dát gebied een verhaal.
@Henkie: als iemand mij overtuigend uit kan leggen welk pakket het meest nauwkeurig is, dan heb ik bij deze een baan in de aanbieding 😉
Mijn punt is dat er zoveel factoren een rol spelen met betrekking tot nauwkeurigheid, dat je altijd een afweging zult moeten maken tussen functionaliteit, performance en nauwkeurigheid. Deze afweging bepaalt deels ook de nauwkeurigheid van een pakket.
Analyse is absoluut interessant, alleen kan ik Henkie niet geheel ongelijk geven. Analyse is interessant om te beseffen dat elk webanalytics-pakketten dus niet exact op hetzelfde uitkomt, dat is zeker interessant en goed om te weten. Alleen als je een keuze moet maken tussen die 2 pakketten heb je er weinig aan, als je niet weet welke dan het zuiverst meet.
Is er niemand nu niet eens op idee gekomen een interne server te testen met die twee pakketten en een middels een loadtest oid 100.000 bezoekers op die server los te laten en te kijken welke pakketten nu het dichtst bij die 100.000 komen? Of sla ik door? 😉
@Erik: zie de link naar het Stonetemple rapport. Hier is in een gecontroleerde setting een test uitgevoerd tussen een aantal pakketten op dezelfde websites, binnen dezelfde periode.
@Henkie en Erik
Ter aanvulling een meer concrete invulling
– First party cookies zijn nauwkeuriger dan third party cookies
– Code bovenaan de pagina plaatsen is over het algemeen nauwkeuriger (maar beïnvloedt in sommige gevallen het gedrag van bezoekers door langere laadtijd)
– Meerdere tracking codes op één pagina vergroot de kans op niet meten van een pageview/bezoeker
– Complexe implementaties verhogen vaak de nauwkeurigheid door meer informatie over bezoekers te verzamelen, maar vergroten de kans op fouten
Mijn ervaring is dat de grootste onnauwkeurigheid vrijwel altijd veroorzaakt wordt door implementatiefouten (updates zonder rekening te houden met web analytics code, verkeerde waardes meegeven aan variabelen, etc.)
@Matthijs: thx! Had dat rapport dus nog even beter moeten lezen, had even niet meer door dat het een gecontroleerde test was.
@Matthijs: Ben nog eens in dat rapport gedoken van Stonetemple, maar krijg de indruk dat e.e.a. toch niet opgezet is zoals ik bedoelde.
Mijn idee was, zet een interne server op waarbij alle traffic die op de server komt enkel en alleen door jezelf gegenereerd wordt. Simuleer vervolgens x.000 bezoekers in een bepaalde periode op die server zoals je dit ook tot bij een loadtest. Dan weet je dus dat er exact x.000 bezoekers op de server zijn geweest, wat de juiste waarde is en vergelijk dat nu eens met de uitkomsten van de pakketten om te kijken wie er nu het dichtst bij zit. Bij Stonetemple kan ik nergens wat nu de exact aantal bezoekers was, enkel vergelijking tussen de waarde van de verschillende pakketten.
@Erik: je hebt helemaal gelijk. Bij Stonetemple is het aantal bezoekers niet gecontroleerd getest. Lijkt me zelf ook interessant om de uitkomsten van een dergelijk onderzoek te zien, dus ik zal kijken of we op korte termijn een kleinschalige test kunnen opzetten. Er zijn natuurlijk nog wel wat afwegingen. Simuleren we clients met dezelfde browser, of moet dit zowel IE, Firefox en Safari zijn? Hoe stellen we de cookie acceptance in van de gesimuleerde clients? Ook hierbij doe je vooraf veel aannames die het eindresultaat zullen beïnvloeden. Suggesties zijn welkom!
@Matthijs: De ervaring leert dat goede onderzoeksresultaten vooral voortkomen uit voortschrijdend inzicht. Tijdens jke onderzoek komen er vrijwel altijd parameters naar voren die je vooraf nog had bedacht mee te nemen. Kortom, start met het schrijven van een eenvoudig loadtestprogramma die meerdere users simuleert, analyseer je gegevens en pas de testopstelling aan. Post je resultaten én testmethode hier!
Marco, Matthijs, heb het even naast de dart stats gelegd en het komt overeen met een gelijke afwijking van 1-2% wat echt niks is. Overigens heb ik ooit door Doubleclick laten uitleggen dat wanneer er geen cookie geplaatst kan worden de registratie op IP adres server side plaatsvindt om zo volledig mogelijk te kunnen tellen.
Matthijs, wat zijn daily uniques in dit verband?
@Phileas: Ongeacht het aantal keer dat je per dag op de website komt, wordt iedere bezoeker slechts één keer als een daily unique geteld. De volgende dag kan een bezoeker dus weer als een daily unique worden geteld. Bij monthly uniques wordt over een periode van een hele maand gekeken of de bezoeker uniek is (al dan niet eerder op de website geweest). Als je daily uniques over een langere periode rapporteert, krijg je de som van het aantal daily uniques van alle dagen.
Met betrekking tot het meten wanneer er geen cookie beschikbaar is: in HBX wordt een bezoeker, ook wanneer deze geen cookies accepteert, gewoon gemeten. Vanwege het ontbreken van een cookie, kan deze bezoeker later niet herkend worden als een terugkerende bezoeker. Een aantal pakketten gebruikt dan het IP-adres, evt. in combinatie met de “user agent” van de browser, om alsnog de bezoeker te kunnen herkennen. Het eerder genoemde Comscore rapport geeft echter aan dat een gemiddelde internetbezoeker per maand 10 tot 11 verschillende IP adressen heeft. Niet echt een betrouwbare manier om bezoekers te herkennen. Naast het gebruik van een cookie is het met HBX (en andere pakketten) ook mogelijk om een uniek ID mee te sturen op het moment dat iemand inlogt of op een andere manier als een unieke bezoeker geïdentificeerd kan worden. Op die manier kan de betrouwbaarheid voor die groep bezoekers enorm worden verhoogd.
Verschillen in analytics pakketten zijn er altijd al geweest en zullen ook niet verdwijnen. Zelfs als heel de markt zou komen tot dezelfde standaarden over wat een unieke bezoeker nu eigenlijk is. Naast verschillen in meetmethoden (omgaan met cookies, proxy’s, ip adressen) zijn er ook nog andere technische factoren die een rol spelen zoals bereikbaarheid van het netwerk en dat kan per klant/provider ook nog verschillen.
Discussies over verschil in aantallen op zich zijn daarom niet zo interessant naar mijn mening. Belangrijker is dat je als analytics weet hoe jouw pakket tot cijfers komt zodat je die cijfers op de juiste manier kunt interpreteren. Daarbij komt dat je eigenlijk niet naar absolute getallen kijkt, maar naar trends en dan zijn die geconstateerde verschillen tussen pakketten veel minder interessant.
@Matthijs:
Je geeft aan dat je het registreren op IP adres geen betrouwbare methode vindt voor het bepalen van unieke bezoekers, mede doordat uit het Comscore rapport blijkt dat een gemiddelde gebruiker 10/11 verschillende adressen heeft. Ik heb niet direct cijfers bij de hand die het tegendeel bewijzen, maar het lijkt me dat de breedband markt in Europa verder is “ontwikkeld” met het gebruik van vaste ip adressen en dat dit voor ons dus minder speelt. Elke methode om herbezoek te meten heeft zo zijn problemen helaas, want alleen cookies gebruiken is ook niet alles zoals je hebt geconstateerd.
@Martijn: mee eens, interpretatie en signaleren van trends is cruciaal voor een goede analyse, cijfers alleen zeggen niet alles. Uiteraard is een bepaald niveau van nauwkeurigheid wel onmisbaar om een valide uitspraak te kunnen doen aan de hand van die cijfers.
Wat betreft het aantal verschillende IP-adressen, dat zal in Europe wellicht wat minder zijn, maar het blijft onbetrouwbaar. Ik heb vanochtend vroeg thuis gewerkt, vervolgens in de wachtkamer van de tandarts en nu op kantoor. Allemaal op mijn laptop, dus dat is één cookie, maar al drie IP-adressen.
@Matthijs “Ik heb vanochtend vroeg thuis gewerkt, vervolgens in de wachtkamer van de tandarts en nu op kantoor. Allemaal op mijn laptop, dus dat is één cookie, maar al drie IP-adressen. “
Zet het aantal internetters dat dat doet nu eens af tegen het aantal internetters dat third/first party cookies weigert 🙂
En dan nog iets over unieke bezoekers. Jij werkt nu vanaf jouw laptop, maar de meeste mensen zitten op hun werk achter een vaste pc, gaan naar huis en hebben daar ook een vaste pc. Of te wel dezelfde bezoeker wordt ook met cookie/ip techniek hier niet herkend.
Uniek en dus herhaald bezoek is heel interessant om te analyseren voor een marketeer, maar hij moet zich realiseren dat er geen enkele meetmethode 100% nauwkeurigheid kan bieden voor deze methode.
@Martijn: naast mij zat nog iemand op haar laptop te werken, maar bij de tandarts is het onderwerp cookies is niet ter sprake gekomen 😉
Cookies bieden inderdaad geen 100% nauwkeurigheid, maar bij het ontbreken van andere methodes blijft het de meest betrouwbare (minst onbetrouwbare) manier om terugkerende bezoekers te herkennen.
Gerelateerde artikelen
Marketingfacts. Elke dag vers. Mis niks!
Marketingfacts. Elke dag vers. Mis niks!