Hoe betrouwbaar zijn de resultaten van STIR?
Vorige week stelde ik op Marketingfacts de vraag wat het bereik van de (grote) weblogs nu eigenlijk is. Ik baseerde me daarbij op de resultaten uit het maandelijkse bereiksonderzoek van STIR. Via emails, twitter en de reacties op het betreffende artikel kreeg ik enorm veel vragen over de betrouwbaarheid van de STIR-cijfers. Reden om de betrokkenen te vragen of ze een screendump konden sturen van hun eigen metingen via Google Analytics. Een samenvatting van deze resultaten zijn weergegeven in bovenstaand overzicht. Me realiserend dat vooral de betrokkenen waarbij de STIR-cijfers lager uitkomen dan de eigen metingen hierop zouden reageren, zijn de verschillen toch dermate groot (tot ruim 600 procent) dat je je moet afvragen hoe betrouwbaar de STIR-cijfers nu eigenlijk zijn.
Uiteraard heb ik ook STIR gevraagd om een reactie. Frans Kok (JIC STIR) gaf daarbij de volgende reactie:
(…) Discussies houd je altijd als je op deze manier blijft meten cq. vergelijken. Ik bedoel de vergelijking van panelmetingen en WA-pakketten. De redenen zijn evident. Panel, site-centric, usercentric, cookiedeletion, binnenland/buitenland, definitie van een unieke bezoeker, onvolledige codering etc. In tegenstelling tot andere mediumbereiksonderzoeken heeft elke deelnemer in het onderzoek zijn eigen benchmarks in de vorm van die WA-pakketten. Dat heeft voordelen. Onjuistheden in het panelonderzoek worden er makkelijker uitgevist en gecorrigeerd. Nadeel is dat je altijd discussies blijft houden over de juistheid van gegevens. Bij andere mediumtypen worden deze discussies niet gevoerd omdat er domweg geen tweede of derde bron is.
En vergeet niet, STIR beoogt niet ‘de’ waarheid te zijn, maar ‘een’ waarheid. Een waarheid naast alle waarheden over het bereik van een website. Een waarheid op basis van een gedegen panel (10.000 personen groot) met een schat aan profielgegevens van zo’n 600 websites en channels in combinatie met bereiks- en frequentiedata. En juist dat laatste maakt het STIR-onderzoek uniek. Het verbaast me dan ook dat sommige personen op MF het onderzoek makkelijk terzijde schuiven en liever een bron als Alexa gebruiken.
Binnenkort start de tender voor het nieuwe online bereiksonderzoek, waarin de ervaringen van de afgelopen vijf jaar worden meegenomen. Ook de uitkomsten van de audit op het bereiksonderzoek vormen een belangrijke input voor het nieuwe bereiksonderzoek. Deze audit wordt op dit moment uitgevoerd door Deloitte en is zo goed als afgerond.
We zijn overigens volop bezig met vernieuwingen binnen het onderzoek. Zo starten we op korte termijn een pilot met hybride meten, waarbij we zowel in het panel als daarbuiten, ongefilterd, meten. Met andere woorden: we willen alle bezoeken meten. Door deze cijfers met elkaar te combineren, kun je ook kleine sites beter meetbaar maken. (…)
Daarnaast verwees Frans ook naar een toelichting (pdf) op de wesbite van STIR waarin wordt uitgelegd hoe de verschillen kunnen ontstaan.
Oprichter/partner Upstream, Marketingfacts, Arnhem Direct, SportNext, TravelNext, RvT VPRO, Bestuur Luxor Live, social business, onderwijs, fotografie en vader!
Ik snap het antwoord van Frans Kok heel goed, maar ik moet wel zeggen dat een verschil van 400-600% toch wel erg groot is… Als de verschillen van het STIR in vergelijking met de GA gegevens van de site nu enige logische verhouding hadden…
Een dergelijke vergelijking heeft pas zin als je het een aantal maanden volhoudt. Als de afwijking vergelijkbaar blijft, kun je inderdaad zeggen dat het ‘een’ waarheid is, en er gewoon mee rekenen. Wisselt de afwijking per maand, dan klopt er iets niet. Nu zegt de afwijking niet zoveel.
Marco, de titel van je bericht luidt: “Hoe betrouwbaar zijn de resultaten van STIR?”. Dit is dus een open vraag waarbij je de conclusie overlaat aan de lezer, aangezien de vraag onbeantwoord blijft.
Het is naar mijn mening niet realistisch om een logische verhouding te verwachten tussen WA-data en STIR-data. Er zijn diverse factoren die de oorzaak kunnen zijn van de afwijkingen. En van site tot site kan de impact ook nog eens enorm verschillen.
Laat onverlet dat het altijd goed is om kritisch te zijn over de betrouwbaarheid van mediabereiksonderzoek (en onderzoek in het algemeen). Als (mede) schrijver van de Request van Proposal die de basis vormt van dit onderzoek, en als eerste voorzitter van de Technische Commissie, weet ik hoe veel inspanning er is gedaan door STIR en door Intomart om voortdurend te werken aan de betrouwbaarheid van het onderzoek. Er is veel energie gestoken in het onderzoeken van allerlei cases, waaronder ook verschillen in resultaten uit WA en STIR.
Als ik het goed begrijp zijn bovenstaande cijfers bezoeken per maand? Dus geen unieke bezoekers, correct? In de opstartfase was het moeilijk om STIR panelleden ook aangemeld te krijgen met hun werkPC. Ik weet niet exact wat de huidige status daarvan is. Wanneer iemand van huis en van zijn werkPC een bepaalde website regelmatig bezoekt, maar niet de werkPC heeft aangemeld bij STIR, zal STIR deze bezoeken niet meten. Het WA-pakket vanzelfsprekend wel. Voor het aantal unieke bezoekers van de website maakt dit in principe niet uit, maar voor het aantal bezoeken en pageviews dus weldegelijk.
Waarvan ik de status ook niet weet, is de manier waarop partijen als WebAds STIR implementeren bij ‘hun sites’. Gaat dit door middel van meetcodes op de pagina’s van de websites of op een andere wijze? Ik weet namelijk dat in het verleden naar een andere manier van implementeren is gekeken.
@Dennis: Ik snap dat je het niet zomaar kan vergelijken tussen de GA en STIR cijfers. Dit is slechts 1 maand en er zijn meerdere invloeden die deze verschillen kunnen beinvloeden…
Maar even kort door de bocht: Aan de andere kant suggereert jouw opmerking dat het verschil tussen GA en STIR groter zou moeten zijn bij sites die meer op werkPC’s bekeken zouden worden. En als ik naar het lijstje kijk, lijken mij dat de onderste 4 sites, waarvan de verschillen nou net het minst groot zijn…
De reden voor het grote verschil van Flabber is een verkeerde GA implementatie, namelijk gebriuken ze nu de volgende code:
pageTracker._setDomainName(“flabber.nl”);
terwijl er een puntje voor flabber.nl moet staan, dus “.flabber.nl”
Tijdens een korte test op mijn site (met meerdere subdomeinen) gaf dat in GA zomaar iets van een factor 5 extra ‘bezoekers’ (pageviews en unieke bezoekers komen wel goed door).
@Boudewijn Janssen: dat zou een en ander verklaren, ware het niet dat er ook Sitestat op de pagina’s draait en daar komt ook het grote verschil in naar voren. Desalniettemin zal ik de punt er voor laten zetten, dank daarvoor!
@Gert: Ik denk dat er alleen dubbele bezoekers worden geteld bij die foute GA implementatie als men naar een ander subdomein gaat, op ‘www’ en ‘xxx.flabber.nl’ zijn het dan 2 bezoekers binnen GA.
Ik heb geen idee of en hoeveel subdomeinen jullie binnen de site gebruiken. Hoe meer = meer bezoekers fout geteld.
@Boudewijn Janssen: dank voor je uitleg, en duidelijk. Dat zal dan niet zoveel zijn, het bezoek aan de subdomeinen is te verwaarlozen vergeleken met het bezoek aan de hoofdsite. Verklaart mijns inziens dus ook niet waarom er door STIR slechts 377k bezoeken worden geregistreerd.
@Pieter Bas,
Als inderdaad het aanmeldpercentage werkPC’s van panelleden nog steeds voor verbetering vatbaar is, dan is jouw opmerking in algemene zijn correct. Dan moet je natuurlijk wel zeker weten dat alle andere factoren geen substantiële invloed hebben. In het specifieke geval van deze websites, zal ook naar het aanmeldgedrag bij STIR van deze doelgroep gekeken moeten worden. Ik kan mij voorstellen dat panelleden die deze websites bezoeken (geïnteresseerden in de ontwikkelingen op mobiel / digitaal marketingvlak) een afwijkend aanmeldgedrag vertonen, aka veel vaker dan gemiddeld ook hun werkPC hebben aangemeld. Kortom, er zijn zoveel factoren die werkelijk invloed kunnen hebben dat snelle en kort door de bocht conclusies niet bijdragen aan beter inzicht. Wel is het naar mijn mening goed wanneer vanuit STIR / Intomart meer specifiek wordt gekeken naar bovenstaande websites, omdat de verschillen in een aantal gevallen wel heel erg groot lijkt.
Weet iemand misschien (Marco?) of de opgestuurde GA rapporten het buitenlands verkeer eruit gefilterd hebben?
Ik denk dat met name sites die items brengen wat door buitenlandse media opgepikt kunnen worden (bijvoorbeeld als bron) een verschil kan geven tussen STIR (puur NL) en GA (hele wereld?).
Belangrijke opmerking van Boudewijn inderdaad alleen naar Nederlands verkeer te kijken. Ook de tagging van GA en STIR hoeft niet per definitie gelijk te staan. Ervaring leert dat het hier vaak fout gaat en ben je dus snel klaar met analyseren. Dan valt er niks te vergelijken namelijk. Bij sommige sites is grensoverschrijdend bereik wel meer dan 30%.
@Boudewijn: Goeie, heb ik inderdaad geen rekening mee gehouden. Scholieren.com trekt namelijk redelijk wat Vlamingen. Gefilterd op herkomst kom ik uit op 1.883.604 Nederlandse bezoeken in dezelfde periode (342.820 uit Belgie, 71.988 uit de rest van de wereld).
@Boudewijn: Had ik ook geen rekening mee gehouden, maar voor iPhoneclub.nl is het percentage buitenlands bezoek (ondanks een trouwe en zeer gewaardeerde schare Vlamingen) redelijk verwaarloosbaar: Gefilterd op herkomst kom ik uit op 2.191.933 Nederlandse bezoeken in de periode september 2009 (280.479 uit België, 79.599 uit de rest van de wereld (waarbij Duitsland het sterkst vertegenwoordigd is)).
Advertentienetwerken als webads plaatsen de stircode in het advertentieslot van de banner. Zodoende worden alleen pagina’s met een banner meegenomen in de stirmeting. Dit kan al gauw een procent of 10 à 20 schelen, los van het aantal buitenlandse bezoekers.
@Mart, dit is inderdaad het implementatiemodel waar ik op doelde. Nogmaals, ik weet niet of dit nog gebruikt wordt. Ben benieuwd hoe je aan dit afwijkingspercentage komt. In ieder geval is duidelijk dat er dus al snel verschillen ontstaan tussen de cijfers uit WA en STIR, zonder te kunnen stellen dat STIR onbetrouwbaar is: gebrekkige implementatie, andere manier van implementeren, buitenlands verkeer, etc.
@Martijn, ik heb jullie onderzoek even vluchtig doorgelezen. Ik kan hieruit niet de conclusie halen dat WA en STIR: “deze wel degelijk vergelijkbaar” zijn. Ben ook benieuwd of jullie in deze vergelijking tussen STIR en WA gekeken hebben naar de effecten van buitenlands IP-verkeer. Daarnaast meen ik te begrijpen dat jullie voornamelijk getest hebben in een afgesloten omgeving, zodat allerlei verschillende acties kunnen worden doorgemeten. En dat heeft ook interessante informatie opgeleverd, maar in de praktijk gaat het al vaak mis met de implementatie. En jullie advies om meerdere WA-tools te draaien en de afwijkingspercentages te monitoren, is een hele goede. Overigens produceert (zeker op verzoek) ook STIR volgens mij overzichten, waaruit afgeleid kan worden of er implementatie issues zijn.
Waar ik benieuwd naar ben, maar dat ligt helaas niet direct in de lijn van een vervolg op dit TNO-onderzoek, is naar de accuratesse van geo / regio targeting en metingen. Wellicht toch iets voor TNO om op te pakken?
Dank voor alle reacties! Opmerkingen en suggesties neem ik mee voor een vervolgonderzoek. Ik zal de betreffende site-eigenaren ook vragen naar een screendump voor volgende maand en daarbij te filteren op alleen bezoek uit Nederland. Dus voor meer suggesties, kom maar door!
Ben ook benieuwd naar sites die via STIR een hoger bezoek registreren dan via Webanalytics. Iemand?
@Mart: WebAds gebruikt 1 initscript voor het serveren van zowel banners als de stircode. Dit initscript wordt bij elke pageview aangeroepen, ook als er geen banners te serveren zijn. De stircode staat dus los van de banners.
Marco, onderzoek dan gelijk ook even hoe de selectie van Stir tot stand komt. Want er staan veel namen niet in hun lijst, terwijl ze toch aardig zouden scoren.
Bijvoorbeeld die van ons. En met 290K pageviews (volgens GA) in de laatste 30 dagen, zouden we ook ergens een plekje krijgen. En al helemaal interessant zijn voor jouw oorspronkelijke post.
Hulde voor het uitzoekwerk tot nu toe.
@Steeph STIR meet in de Webmeter alleen de websites van de leden van STIR. Vandaar.
@Peter W. Ah, uh… vandaar.. uh… maar is het dan niet genoeg om een contract bij adfactor te hebben? (aan het lijstje te zien)….???
@Steeph Op zich wel. Phil?
@Steeph: dit geldt ook voor Marketingfacts, ook onder contract bij Adfactor maar wordt niet meegenomen voor STIR. Reden weet ik niet, is een keuze van Adfactor. Ben inderdaad wel benieuwd naar de reden. Phil?
@Dennis, er is zowel een afgesloten omgeving gebruikt als dat data van een aantal grote sites zijn geanalyseerd. Hieruit is gekomen dat de verschillen niet 1:1 vergelijkbaar zijn, maar dat je meer de trends mee moet nemen. Daarnaast zijn er ook guidelines opgesteld voor ‘acceptabele verschillen’ tussen verschillende WA pakketten.
Ik vind je vraag rond accuratesse van geo-targeting interessant, wat zou je hier precies om willen onderzoeken? En welke andere organisaties ken je die dit interessant zouden vinden?
Mag ik ook een oude discussie oprakelen? Bovenstaand onderzoek meet websites a.d.h.v. maatstaven uit de oude media. (oplage) Wanneer gaan de verschillende onderzoeken zich nu eindelijk eens richten op de doelstellingen die bij online campagnes worden gehanteerd? De klant wil traffic naar zijn site, leads, sales, noem maar op. Of een site daarbij de best bezochte site van Nederland is (in welke doelgroep dan ook) is hierbij minder relevant. Of je moet voor een toevalstreffer willen gaan. Een mediaplan onderbouwen met STIR gegevens geeft de adverteerder een schijn-zekerheid dat hij een goed mediaadvies heeft gekregen.
@Indebanvan
Mediabereiksonderzoek verschilt van onderzoek naar campagne bereik. Daar ligt inderdaad nog een terrein braak. Dat is zeker een put, hoewel sommige exploitanten op dit gebied weldegelijk wat activiteiten ontplooien. Wanneer ik jouw redenatie echter zwart/wit doortrek dan heeft bereik en profielen etc. onderzoeken helemaal geen zin en is ouderwetse onzin. Daar ben ik ’t helaas niet mee eens, want dan is de enige graadmeter of een website wel of niet respondeert. En het is evident dat er meer effecten zijn aan online advertising dan alleen ‘platte’ respons. Uiteindelijk hangt de behoefte aan onderzoek en data nauw samen met de campagne doelstellingen van de adverteerder.
@Martijn
Geo-targeting is een wezenlijk onderwerp. Zowel ondernemingen met een “beperkt” verzorgingsgebied, als voor onderneming die werken vanuit verschillende vestigingen kunnen hier veel baat bij hebben. En het wordt ook veel aangeboden. Op basis van IP-herkenning, op basis van profielen en wellicht ook op basis van/ of in combinatie met zoekgedrag. Ik vraag mij af hoe accuraat die verschillende elementen zijn, en wellicht ook of er een richtlijn is op te stellen wanneer geo-targeting relevant is (wel een provincie, niet een dorp met 2.000 inwoners, etc). Ik kan mij voorstellen dat geinteresseerde organisaties de exploitanten zijn, wellicht provincies en gemeenten en ongetwijfeld ook retailorganisaties.
@Indebanvan
Wat stel jij precies voor, moet de Stir CTR’s & conversieratio’s gaan meten en publiceren?
CTR’s en conversieratio’s zijn campagne-afhankelijk dus deze gegevens modelleren en op basis hiervan uitspraken doen biedt geen uitkomst.
Daarnaast zouden een hoop lezers van ons Marketingfacts geen job meer hebben als de STIR deze gegevens zou publiceren en er waarde aan gehecht zou worden; “Marketeers? who needs them, een mediaburo? dat is zoo ouderwets dat doe ik allemaal zelf”
Dat is eng. Vandaag spreekt Bert Kamp zich uit over brandingeffecten online, Arjan Haring schrijft over conversie, Alex Stil van Mindshare staat stil bij betalen voor bruto bereik (=ouderwets). Lot Keijzer verklaart de klik dood. Allemaal artikelen die samenhangen met bovenstaande. Een onderwerp dat ik lang heb gemist op de marketingsites. Dankuwel!
Gerelateerde artikelen
Marketingfacts. Elke dag vers. Mis niks!
Marketingfacts. Elke dag vers. Mis niks!