Online onderzoek gefileerd
Lezen we net dat het goed gaat met onderzoek via Internet, staat het opeens in het beklaagdenbankje! Afgelopen donderdag is door de MOA (marktonderzoek-branchevereniging) een groot onderzoek gepresenteerd waaraan vrijwel alle grote zogeheten ‘online access panels’ (in de volksmond: Internetpanels) hebben deelgenomen: het NOPVO. Doel van het onderzoek: inzicht krijgen in de kwaliteit van online dataverzameling in Nederland. De conclusies zijn redelijk bedroevend…
Bijna een kwart van alle panelleden in Nederland zit in 5 of meer Internetpanels
Is dit erg? Ja, dit is erg. Nog afgezien van de drijfveer van deze groep om in zoveel panels tegelijk te zitten (vaak: centjes verdienen / prijzen winnen), heeft dit invloed op de kwaliteit van de data die je verzamelt. Je kunt je voorstellen dat als je in panel A een onderzoek doet naar jouw merkbekendheid, en een panellid heeft net in panel B meegedaan aan een onderzoek van een concurrent, dat dit ongewenste effecten oplevert.
Er is sprake van een afwijkende respondentgroep die aan online onderzoek meedoet
Deelname aan een online access panel gebeurt op basis van vrijwilligheid, en vaak op basis van zelf-aanmelding. Dit leidt er toe dat een groot deel van de ‘non-respons’ op online onderzoek al voor de poort plaatsvindt. Immers, mensen die niet aan (online) onderzoek mee willen doen, melden zich niet aan. Bij telefonisch of face-to-face onderzoek kan de overredingskracht van een interviewer nog positief werken, bij zelf-aanmelding gaat dit niet op. Er blijft dus vaak een kleine club potentiele respondenten over waaruit geput kan worden. En deze mensen blijken anders te zijn: niet eens zozeer sociodemografisch, maar meer nog waar het gaat om belangrijke attitudekenmerken. Zo blijkt uit het onderzoek dat SP-stemmers zwaar oververtegenwoordigd zijn in alle panels, en CDA-stemmers ondervertegenwoordigd.
Zo zijn er nog een aantal conclusies die tot nadenken aanzetten, voor de liefhebber zijn de uitkomsten van het onderzoek hier na te lezen.
Al met al zijn de conclusies vaak somber stemmend. Niet zozeer ten aanzien van online onderzoek zelf, maar ten aanzien van de grote verschillen die tussen de vele panels zijn gevonden. Dit wekt voor de buitenwereld de indruk dat online onderzoek ‘niet betrouwbaar’ is. Ik ben zelf medeverantwoordelijk geweest voor het opzetten van een van de grootste panels van Nederland (Opinieland.nl, inmiddels niet meer in handen van Blauw) in een tijd dat online onderzoek nog nieuw was en ben er nog steeds heilig van overtuigd dat online onderzoek voor de meeste typen onderzoek de geprefereerde dataverzamelingmethode is, zolang je maar de juiste voorzorgsmaatregelen neemt, en de juiste controle- wegings- en correctieprocedures gebruikt.
Wanneer je overweegt online onderzoek uit te laten voeren, kijk dan eens naar de guidelines die Esomar (internationale branche-organisatie) heeft opgesteld met betrekking tot online onderzoek. Hierin vindt je onder meer 25 vragen die elke beheerder van een online panel moet kunnen beantwoorden, en die een goede indruk moeten geven van de kwaliteit van het panel.
Werkzaam bij TNS Singapore als Senior Manager Interactive op het gebied van (nieuwe) media en emerging technologies. Met name gespecialiseerd in het toepassen van nieuwe onderzoeksmethoden en -technieken.
Dit is inderdaad heftig Bernice; zijn er ook al officiele reacties van de diverse online onderzoeksbureaus? En is er een vergelijkbaar onderzoek gedaan naar de offline onderzoekspanels? Zien we daar niet een vergelijkbare bias?
Ik heb er overigens van overtuigd dat men in toenemende mate onderzoek zou moeten baseren op observatie en minder op ondervraging. Niet voor alle onderzoeksvragen geschikt maar voor een groot deel wel degelijk toe te passen.
Bij offline panels zul je hetzelfde effect zien, waar het gaat om zelf-selectie van respondenten: mensen die met een bepaald motief (geld, aandacht, nieuwsgierigheid, invloed) vaker aan bepaald soort onderzoek willen meedoen. Ook hier geldt: zolang je maar weet waar de afwijkingen zitten, en je hiervoor controleert en/of dit meeneemt in je interpretatie is er niet aan de hand.
Waar het gaat om onderzoek o.b.v. observatie: ik ben van mening dat steeds meer onderzoek een combinatie van observatie en surveys zal worden. Beide type onderzoek geven vanuit een andere invalshoek een beeld van de werkelijkheid: zo moet je bij observatieonderzoek aannames doen over intenties, attitudes etc, en bij surveyonderzoek moet je vaak aannames doen over (historisch) gedrag: het geheugen van mensen is niet perfect.
Tot een paar jaar geleden zag je deze combinatie niet veel, voornamelijk omdat het heel kostbaar was. Door de snelle groei van Internet is dat voor een aantal soorten onderzoek opeens een stuk goedkoper geworden. Denk hierbij bijvoorbeeld aan de combinatie van webanalytics (gedrags-cijfers) en surveys (waarom) om een goed beeld van je webbezoeker te krijgen. In de US zie je bijvoorbeeld hele mooie combinaties bij bv TiVo: kijkdata van consumenten, aangevuld met surveydata.
Een ander voorbeeld is de methode die we bij de Thuiswinkel MarktMonitor toepassen: het combineren van retaildata m.b.t. daadwerkelijke omzet- en afzetcijfers van webwinkels met consumentendata o.b.v. een survey. Hier worden dus ook gedragsdata met surveydata gecombineerd, en dat blijkt een veel betrouwbaarder beeld van de werkelijkheid te geven dan wanneer je je op 1 methode zou verlaten.
Mag ik eerlijk zeggen dat ik er erg veel onzin in vindt zitten, in je verhaal dan.
Die zogenaamde overredingskracht is namelijk ook zeer minimaal, en er is nooit onderzoek gedaan naar de respondenten van telefonisch onderzoek. Dat kan ook niet, want de non respons respondeert niet. Dus je bent nu appels met… luch (of fictie zoals je wilt) aan het vergelijken. Het is eenvoudigweg niet mogelijk om een vergelijk te trekken tussen iets meetbaars en iets niet meetbaars.
De vraag is dus: is dit zoveel rampzaliger dan offline? Het enige juiste antwoord is: dat weten we niet. Je geeft b.v. aan dat het aantal SP stemmers oververtegenwoordig is. Maar we weten allemaal dat in opiniepeilingen altijd al een correctie wordt toegepast.
Wel zie ik veel mogelijkheden voor additionele panels. Ik heb zelf met Bloomerce (moederbedrijf van jouw opinieland en inmiddels idd verkocht aan Survey Sampling) lange tijd een deal gehad. Met mijn vorige bedrijf dan. Wij hadden namelijk ook een giga panel, maar wel wat specifieker (hoger opgeleiden, met name ICT’ers). Het inzetten van dergelijke panels is een grote oplossing voor dit soort dingen. Het inzetten van ‘niet panel’ databases, vanuit de leverancier van die niet panels, is een goede oplossing.
Helaas zitten de meeste opdrachtgevers totaal niet te wachten hierop, want die willen een onderzoek doen exact onder hun populatie die gewenst is. Geen representatief onderzoek onder een brede(re) doelgroep. Dus dan is de vraag mee: is er nog wel vraag naar echt onderzoek als dit speelt? En zo nee: is het een probleem datdeze panels zo ‘vervuild’ zijn? Het antwoord is nee. Het gaat om ‘u vraagt, wij draaien, de antwoorden moeten (met marge) al vast staan voor het onderzoek’. So who cares?
Grappig, ik zie als laatste aanbeveling: verzin een andere manier om je panel te werven, er staan nog 9 miljoen mensen voor je klaar. Just like I said: zoek andere databases, liefst van mensen met een band met die site / dat merk. En nodig die zeer sporadisch uit namens dat bedrijf voor een onderzoekje.
@Bas: er is onderzoek in overvloed gedaan naar non-respons, zeker ook bij telefonisch onderzoek. Wie, waarom, waar zitten de verschillen, hoe kun je hiermee omgaan. En je kunt weldegelijk inzicht krijgen in wie er niet responderen door gebruik te maken van meerdere databronnen.
En natuurlijk is er nog wel vraag naar ‘echt’ onderzoek. Feit is dat door online onderzoek met name datacollectie een stuk goedkoper is geworden, en aangezien datacollectie een fors deel van het onderzoeksbudget opslokt is onderzoek uit laten voeren overall ook goedkoper geworden. En laagdrempeliger, want wie beschikt er vandaag de dag nou niet over een database met allerlei mensen die je wel wat vragen kunt stellen. Je moet alleen wel na blijven denken wat je wanneer gebruikt (eigen bestan, panel, etc) en wat de mogelijke consequenties hiervan zijn.
@Bernice helemaal mee eens met dat nadenken (wanneer gebruik je wat en waarom). Echter is de integriteit van onderzoeksbureaus (in mijn ervaring) niet bepaald toegenomen de laatste jaren. Dit is logisch, aangezien er nog steeds veel te veel zijn voor veel te weinig markt (die shake out die al aangekondigd werd toen ik 8 jaar geleden bij een onderzoeker zat is nog steeds niet echt geweest), maar niet goed voor de markt.
Ik geloof in alle eerlijkheid niet dat online op enige manier onder doet, ook niet qua panels, voor telefonisch. Zeker niet als je (wat helaas te weinig gebeurt) andere bronnen inzet. Daarom ben ik ook zo blij met blogresearch van o.a. Marco. Eindelijk een frisse kijk op onderzoek.
Maar als ik b.v. lees dat hattrick (hattrick.org) in een week tijd met een eigen online onderzoek bijna 200.000 respondenten wereldwijd heeft, eenvoudigweg omdat mensen een band met dat bedrijf hebben, snap ik niet waarom onderzoekers zoiets niet vaker opzoeken. Of eigenlijk snap ik het wel, men wil kunnen segmenteren aan de bron op veel en veel te veel vragen. Terwijl dat vaak helemaal niet nodig is.
Gerelateerde artikelen
Marketingfacts. Elke dag vers. Mis niks!
Marketingfacts. Elke dag vers. Mis niks!