Meetonnauwkeurigheden zijn geen probleem
Veel gebruikers van Web Analytics tools maken zich zorgen over de accuraatheid van de software. Bij Intuit –het Exact van de Engelstalige wereld- zijn de zorgen voorbij. Daar gaan ze er gewoon vanuit dat de data onnauwkeurig is.
Op de Emetrics Summit vorige week in Santa Barbara, presenteerde Avinash Kaushik, sr. Manager Web Analytics and Research bij Intuit, over de wijze waarop zijn organisatie omgaat met bezoekersstatistieken. Voor Intuit moet web analytics 2 vragen beantwoorden:
1) Wat is de ontwikkeling van de belangrijkste Key Performance Indicators (KPI’s)
2) Hoe beïnvloeden onze website-optimalisaties de KPI’s
Intuit heeft om deze vragen te beantwoorden een paar eigenzinnige KPI’s vastgesteld
Het gaat hierbij niet om de traditionele pageviews, unieke bezoekers of sales. Veleer gaat het om zaken als:
• Click Density: het percentage bezoeken aan verschillende onderdelen op de website
• Task Completion Ratios: de conversieratio’s voor de verschillende conversiepunten op de website
• Multi channel Revenue Impact: de omzet verdeelt naar herkomst van bezoeken
• Segmented Visitor Trends: Alle bovenstaande KPI’s per bezoekerssegment
De traditionele KPI’s geven geen aanleiding om actie te ondernemen. Ze geven geen inzicht. Ze roepen eigenlijk alleen maar vragen op. Wat zegt het dat je ineens op een dag meer pageviews waarneemt? De nieuwe KPI’s geven wel inzicht.
Click Density geeft inzicht in de intentie van het websitebezoek. Task Completion geeft aan hoe goed de website converteert. Multi Channel Revenue Impact helpt bij het beoordelen wat de ROI is van de verschillende marketinginspanningen. Segmented Visitor Trends helpen bij het beoordelen van de effectiviteit van de website voor de verschillende doelgroepen.
Bij Intuit is een team van webanalisten continu bezig de website te verbeteren. Daarbij sturen ze op deze cijfers. Het succes van een marketingcampagne is bijvoorbeeld terug te zien in Multi Channel Revenue. Aanpassingen in content of navigatie hebben bijvoorbeeld invloed op click density of segmented visitor trends.
Omdat alle cijfers slechts trends zijn en geen absolute aantallen is de accuraatheid van ondergeschikt belang. In een trend wordt de onnauwkeurigheid immers uitgevlakt. Een voorbeeld kan dit verduidelijken. Als je meet dat 20 van de 100 mensen iets kopen dan heb je een conversie van 20%. Wanneer na een ingreep in de website 25 van de 100 iets kopen dan is de conversie 25% en is er dus een toename van 5%. Als die metingen nou onnauwkeurig zijn en in werkelijkheid zijn er voor de ingreep 114 mensen waarvan er 23 iets kopen en na de ingreep zijn het er 96 waarvan er 24 iets kopen dan blijven de ratio’s respectievelijk 20% en 25%. De toename is ook nog steeds 5%. Door dus de rapportage en analyse te focussen op ratio’s is onnauwkeurigheid geen issue meer.
Voor deze onverschilligheid over accuraatheid is gekozen omdat het probleem in de toekomst alleen maar erger zal worden. Steeds meer mensen blokkeren cookies of ze accepteren geen javascript. Bovendien gebruiken veel sites meerdere meetsystemen –bijvoorbeeld Dart voor de banners en web analytics software voor de bezoekersstatistieken- die altijd verschillende aantallen rapporteren. In plaats van tijd te verdoen aan discussies om de verschillen te verklaren hebben ze bij Intuit gekozen om de verschillen te accepteren. Onder het motto “Data quality sucks, get over it!” beoordelen ze alles aan de hand van trends.
Daniël Markus is oprichter en directeur van ClickValue, een performance based online marketing bureau uit Amsterdam. Data driven online marketing is zijn specialisme. Van daaruit helpt hij opdrachtgevers bij het blijvend verhogen van online rendement. Naast bloggen over dit onderwerp geeft Daniel regelmatig presentaties op nationale en internationale congressen en verzorgt hij cursussen via onder andere Beeckensteijn. ClickValue bestaat sinds 2003 en is inmiddels uitgegroeid tot een middelgroot bureau met meer dan 100 nationale en internationale klanten. Opdrachtgevers variëren van corporates als SNS, Harman Kardon, NUON en NS tot toonaangevende e-businesses als Kamera-Express, New York Pizza en Lamp&Licht;.
De grap is dat er vanuit wordt gegaan van een “vaste” afwijking van de standaard statistieken. Maar is dat zo? Wat ze m.i. dus eigenlijk doen is de onnauwkeurigheid v/d statistieken verbloemen met vage analyse.
Het is gewoon een feit dat hun ratio’s en trends nog steeds met zuigende kwaliteit data gegenereerd wordt. Oftewel: Zuigende ratio’s en trends; net zo nutteloos…
@Ulco
Je lijkt wat hoge verwachtingen te hebben over data accuraatheid in het algemeen. Met geen enkele andere vorm van online onderzoek of marktonderzoek is de accuraatheid van de data hoger dan bij websitestatistieken.
En het is volgens mij geen feit dat trends en ratio’s van ‘zuigende kwaliteit zijn. Ik ken die feiten niet. Ben wel benieuwd naar jouw bronnen.
De trends en ratio’s zijn juist bijzonder accuraat. De onderliggende data is niet accuraat. Daar heb je gelijk in. Maar ik heb proberen uit te leggen dat de accuraatheid van de ‘rauwe’ onderliggende data er niet toe doet voor trends.
Bovendien ga ik er inderdaad vanuit dat er sprake is van een vaste afwijking. Dat kan ook omdat de oorzaken van de afwijking structureel zijn. De afwijking van vandaag is even groot als die van morgen. Afwijkingen komen voort uit meetmethoden (tagging, sniffing of logs), cookieverwijdering, firewalls, javascript blocking, robotbezoek, serveractiviteit, etc. Deze zaken veroorzaken afwijkingen in de statistieken, maar dat zijn wel altijd dezelfde. Over een periode van een maand of korter kun je er van uitgaan dat de afwijkingen elkaar uitmiddelen.
Ik heb geen hoge verwachtingen van data accuraatheid, juist eerder in tegendeel. Wat ik probeer te zeggen is dat je geen correcte ratio’s en of trend kunt genereren uit onjuiste statistieken.
Het probleem is m.i. dat de afwijking juist niet vast/structureel is. Zoals je al aangeeft kun je denken aan cookieloss. Landings die van één IP komen maar vervolgens met een ander IP tot conversie leiden. In de massa zal dit misschien een relatief klein verschil op leveren maar dan denk ik meer aan duizenden conversies dan aan tientallen.
In dit geval, bij deze vorm van analyse worden de ratio’s gebaseerd op diezelfde statistieken als waar ze zelf van zeggen dat ze niet kloppen. Dat lijkt me behoorlijk tegenstrijdig. De enige mogelijkheid om ze “betrouwbaar” te maken lijkt mij niet ze converteren naar andere datastreams maar het inbouwen van foutmarges, werken met SD’s, betrouwbaarheidsintervallen en dergelijke. Toch?
Laat ik beginnen met te zeggen dat het sturen op KPI’s iets is dat elke (online) organisatie zou moeten doen. En alhoewel je inderdaad kunt discussieren over de stabiliteit van de afwijking, moet je op een gegeven moment hierover aannames doen. Maar al te vaak wordt zogenaamde onnauwekeurigheid van webstatistieken aangegrepen om gewoon maar niets te meten.
Wat ik wel mis in dit verhaal is juist het inzicht wat ontstaat. Er wordt hier gesteld dat de ‘nieuwe’ KPI’s wel inzicht verschaffen, zoals hoe goed de website converteert. Tuurlijk zou je dit moeten monitoren, echter het grote inzicht, namelijk wat bepaald nou of een bezoeker wel of niet converteert ontbreekt.
@Bram
Het grote inzicht komt pas met de tijd, door langere tijd je KPI’s te monitoren. Verder moet je denk ik goed volgen wat de invloed is op KPI’s van al je marketinginspanningen en contentaanpassingen. Je moet experimenteren om echt inzicht te krijgen.
Behalve misschien de salesmensen van de statistiekensoftware beweert niemand dat de statistieken na installatie meteen al het inzicht verschaffen. Maar ken jij een andere meetmethode die meteen alle inzicht verschaft?
@Ulco
Je lijkt gewoon niet te willen geloven dat aannames over meetafwijkingen voldoende zijn om goede trends te kunnen maken. Ik ben het helemaal met je eens over de rauwe data. Als je op basis van je steekproeven iets wil zeggen over het aantal bezoekers of het aantal bekeken pagina’s dan heb je gelijk dat je dit met SD’s en foutmarges in je achterhoofd moet communiceren.
De grap van statistiek is echter dat je wel gerust kunt vertrouwen op trends. Ik zou zeggen: pak er eens een willekeurig boek over steekproeven, experimenten of statistische analyse bij. Daar kun je het allemaal vinden.
Mocht je niet meteen een boek bij de hand hebben. Misschien nog een voorbeeld om te illustreren. Als je bijvoorbeeld wilt weten hoeveel procent van de Nederlanders Balkenende leuk vindt dan kun je dit heel betrouwbaar meten door de vraag voor te leggen aan 2000 willekeurige Nederlanders. Als 30% daarvan zegt dat ze hem leuk vinden dan weet je met 98% zekerheid dat het zo is. Als ik dezelfde vraag na en jaar opnieuw stel en ik meet 40%, dan kan ik met gerust hart zeggen dat hij populairder is geworden. En dat die toename 10% bedraagt.
Let wel, je kunt hier niet uit concluderen dat 1.534.156 mensen de premier in een jaar een leuke man zijn gaan vinden. De kans is groot dat dit niet klopt. Je weet alleen wel dat het er meer zijn dan vorig jaar en dat de stijging 10% bedraagt.
Bij webstatistieken is de betrouwbaarheid nog veel hoger omdat je bijna 100% van het bezoekersgedrag kunt waarnemen.
@ Daniel
Op papier (?) komt het er wat anders uit dan ik bedoelde. Ik ben juist heel erg voor monitoring van KPI’s. Zeker als je daar ook nog bij gaat expirimenteren. Op dat punt zijn wij het eens. Wel denk ik dat je via datamining/webmining ander (beter?) inzicht verkrijgt in de triggers van gedrag. De vraag is of dat inzicht meteen ontstaat (kun je over discussieren). Voordeel van datamining boven experimenteren is dat met de laatste methode vaak gewerkt wordt met een vooronderstelling, terwijl dit met datamining niet nodig is.
Gerelateerde artikelen
Marketingfacts. Elke dag vers. Mis niks!
Marketingfacts. Elke dag vers. Mis niks!