Wat vinden we eigenlijk van Marketingfacts in 2010?
Marketingfacts is één van de meest populaire marketing weblogs van Nederland, daar zijn we trots op en dit is voor een heel belangrijk deel te danken aan de bloggers en aan onze lezers; de community. Omdat we Marketingfacts voor álle lezers zo optimaal mogelijk willen laten aansluiten op behoeften, zijn we benieuwd hoe jullie de website en de diensten op dit moment beoordelen en welke verbeterpunten jullie voor ons hebben. Dit willen we toetsen aan de hand van een lezersonderzoek, het derde alweer. Je kunt hier meteen meedoen, hieronder meer informatie:
Het laatste lezersonderzoek is uitgevoerd in het eerste kwartaal van 2009 in samenwerking met RMI. Dit onderzoek gaf unieke informatie over de Marketingfacts community. Om te kunnen benchmarken of Marketingfacts op de goede weg zit, houden we dit jaar wederom een lezersonderzoek. Daarvoor hebben we uiteraard jouw hulp nodig. De vraag daarom vanuit ons aan jou: Zou je ongeveer 10 minuten van je tijd willen besteden om de vragenlijst in te vullen? De resultaten van het lezersonderzoek zullen we binnenkort op Marketingfacts.nl publiceren.
Meedoen aan het lezersonderzoek kan door hier te klikken voor de vragenlijst. Natuurlijk koppelen we de resultaten weer terug via het weblog. Alvast dank voor je deelname!
Jeroen, Bram, Matthijs en Marco & Erik.
Jeroen Megens volgt de opleiding Advanced Business Creation aan de Avans Hoge school ('s Hertogenbosch). De opleiding Advanced Business Creation (ABC) wil studenten opleiden tot Advanced Business Creators: afgestudeerden die hun creativiteit en innovativiteit weten in te zetten om nieuwe technologieën en nieuwe media te vertalen naar nieuwe producten en diensten. Tijdens mijn meeloopstage bij Marketingfacts wil ik vooral veel kennis op doen van online marketing en alles wat komt kijken bij online uitgeven.
Ik heb hem ingevuld, alleen een beetje jammer dat de vervolgvraag van studie totaal niet klopt.. Ik studeer op het moment aan een MBO opleiding en na de vraag of je studeert (of werkt enz.) kun je alleen een keuze maken uit HBO of WO niveau.
Lekker bevooroordeeld Marketingfacts…
Hoi Anton,
Je hebt helemaal gelijkt, we hebben hier helaas overheen gekeken. Ik heb het inmiddels aangepast en de optie MBO in het onderzoek toegevoegd. Het kan zijn dat de onderzoeksresultaten voor deze vraag iets vertekend zijn. In ieder geval bedankt voor je deelname!
Website technisch gezien erg onoverzichtelijk en slechte performance.
@ Jeroen
Graag gedaan, goed dat je het aangepast hebt!
Altijd leuk een onderzoek, ik heb twee opmerkingen:
Ik mis de volgende vraag (tussen de haakje maar gelijk mijn antwoord):
Waar erger je je aan op MF? (Die irritante Mini banner)
Geef bezoekers ook de kans aan te geven waar ze niet tevreden over zijn in een open vraag :).
Daarnaast kreeg ik na het invullen van mijn email adres bij de laatste vraag geen bedankt pagina te zien (verwarrend)!
Ik had gehoopt en verwacht dat jullie van dit onderzoek iets gemaakt zouden hebben. En dat betekent dan niet een oude papieren vragenlijst online plaatsen. @ Jeroen, dit is niet persoonlijk, je werkt met de tools die je tot je beschikking hebt. Maar een ding weet ik wel, jullie hebben na dit onderzoek nog steeds geen idee hoe ik over marketingfacts denk. En dat had ik wel willen vertellen. Dit kan beter …
Beste Jeroen en anderen,
Ik kan me niet vinden in bovenstaande reacties. Ik heb de enquete vanuit de mobiele app van M! Ingevuld en hij werkt uitstekend.
Bovendien voldoet de vragenlijst aan alle eisen: hij is duidelijk, goede duidelijke vragen en antwoordmogelijkheden en opbouw is logisch. Door een juiste afwisseling van nominale en rationele vragen kunnen er veel enquêtes kwantitatief geanalyseerd worden en zijn de resultaten voor M! nuttiger dan wanneer er gebruik wordt gemaakt van open vragen (met open antwoorden).
Kortom, goede enquete en ben benieuwd naar de resultaten van het onderzoek.
@Erwin van Faassen: Zoals gezegd in de blogposting, is het onderzoek óók bedoeld als benchmark. Dat betekent dat de vragen gestandaardiseerd zijn voor een deel, en gelijk oplopen met het eerdere lezersonderzoek. Verder ben je helemaal vrij om onder de vraag:
“Welke nieuwe spin offs, rubrieken of toepassingen zie jij in de toekomst graag op Marketingfacts.nl?”
verder toe te lichten hoe je over Marketingfacts denkt. En: verder kun je ons natuurlijk ook bellen/mailen of langskomen in Arnhem voor koffie om je mening kwalitatief verder toe te lichten. Meer dan open voor alle suggesties, dus.
@Fillipe: Heb je de vragenlijst ook ingevuld?
Yes uiteraard 🙂
Heb het ingevuld. Ben tevreden over de inhoud. Maar vind de laatste tijd de reclames wel heel erg irritant worden. Vooral de popups midden over de inhoud en op het scherm. Waarom zou je zoiets doen vraag ik me altijd af? ik snap dat er geld verdiend moet worden, maar dit gaat tenkoste van de kwaliteit van de weblog.
Dit is geen steekproef, dus je facts zijn niet representatief. De vragen zijn leidend en gericht op regelmatige bezoekers, dus je mist al je incidentele bezoekers. De antwoordmogelijkheden leggen de nadruk op positieve reactie en de schalen zijn verkeerd gebruikt. Veel HBO-opleidingen geven een basiscursus statistiek en marktonderzoek; misschien iets als module voor MF?
@tvdh bedankt voor je reactie. Met mijn bedrijf heb ik Marketingfacts geadviseerd bij het M! lezersonderzoek.
In reactie op jouw punten:
1) Steekproef: Het betreft hier een onderzoek onder bezoekers van de website. Het onderzoek staat er nu 2 weken op de site waardoor ook incidentele bezoekers de kans krijgen om de vragenlijst in te vullen. Binnen de resultaten kan ook gesegmenteerd worden naar type bezoeker en een vergelijking worden gemaakt tussen deze groepen en de verschillen inzichtelijk worden gemaakt.
2) Vraagstelling: de antwoordmogelijkheden hebben altijd zowel een positieve als negatieve optie en zijn evenwichtig opgesteld, dus van onvoldoende -> voldoende. Bij de stelling over M! zijn er een aantal stellingen positief ingestoken maar daar kan het het altijd ‘mee oneens’ zijn.
Tenslotte, zoals Jeroen en Matthijs al aangaven, gaat het hier om een onderzoek dat reeds een aantal keer is uitgevoerd en wordt het daardoor mogelijk een vergelijking in de tijd te maken. Hierdoor zitten er, qua methodiek, mogelijk wat vragen tussen die gedateerd lijken over te komen. Voor de vergelijking is het wel belangrijk deze gelijk te houden.
Hoop dat dit e.a. meer duidelijk maakt!
@tvdh: ook ik heb als voormalig onderzoeker er naar gekeken en kan me niet geheel vinden in je kritiek, zoals Menno hierboven al aangeeft. De steekproef gaat over de lezers, dus krijgen alle lezers de mogelijkheid. Tijd zal leren hoeveel heavy users erin zitten vs hoeveel minder heavy users, iets dat we natuurlijk kunnen afzetten tegen de analytics.
De leidende vragen zie ik niet zo, welke vraag vond je typisch leidend als ik vragen mag?
Wel zitten er inderdaad een aantal zeer positief gestelde vragen in, zoals ‘ik ga marketingfacts missen als het er niet is’. Menno heeft hiervan de reden al aangegeven.
Steekproef is iets anders dan ‘iedereen gelegenheid geven’. Het is evident dat mensen die meedoen aan zulk onderzoek afwijken van mensen die niet meedoen, alleen al omdat ze actiever betrokken zijn bij de site en dus waarschijnlijk positiever – of bij uitzondering negatiever.
De omschrijving van ‘incidentele bezoekers’ is wat ruimer dan eens in de twee weken. In het onderzoek is dat ‘een maand of minder’. Zulke infrequentie bezoekers zijn het groeipotentieel (of een afzakindicator), maar de verdere vraagstelling is vooral gericht op frequente bezoekers. Het onderzoek is zodoende al jaren gericht op de fan-resonantie. Dat is leuk zolang de bezoekerstallen stijgen. Maar als die aftoppen of zelfs dalen, heb je geen idee waarom. Er wordt ook niet gevraagd naar de historie.
Het leidend karakter komt tot uitdrukking in de keuze van vragen en de antwoordmogelijkheden, die veronderstellen dat iedereen een fan is. Er is in de vooronderstellingen blijkbaar geen ruimte geweest voor kritiek. Dat is een gemiste kans. Deze focus van het onderzoek komt tot uitdrukking in verkeerd gebruik van schalen. In de drie- en vijfpuntsschalen wordt de middenpositie ingenomen door positief oordeel zoals ‘voldoende’ of zelfs ‘goed’.
Likert draait zich om in zijn graf.
@tvdh: je maakt nogal wat assumpties, maar ik mis het staven ervan. Je stelt dat de mensen zullen afwijken omdat ze actiever betrokken zijn. Er zijn ook theorieën die stellen dat juist de klagers, zeker in Nederland, in onderzoeken altijd de boventoon voeren. Omdat als het goed is we dat niet laten horen. Online zie je in Nederland bijvoorbeeld dat relatief veel reviews van producten en met name boeken negatief zijn, terwijl wereldwijd 80% positief is. Wij Nederlanders doen enkel mee aan dat soort dingen om negatief te zijn, een positief geluid laten horen zijn wij veel slechter in. Dat zou hier ook voor kunnen gelden, dus dat argument gaat volgens mij niet op, net zo min als dat je kan zeggen dat het per definitie fans zijn, want je redenering kan ook. Het is echter niet de enige mogelijkheid en daarmee een assumptie die je niet 1.2.3. kan trekken.
Ik vroeg je welke vragen dan volgend jouw leidend zijn en je herhaalt je antwoord dat dat in de vragen zit. Ik ben als oud onderzoeker bekend met het begrip, maar de vragen zijn volgens mij niet leidend. Ze zijn positief gesteld, maar dat is niet hetzelfde als leidend. Leidend zou zijn: bezoek je een site als je X gedaan hebt (als je dat antwoord graag wilt). Goed is dan: wat doe je als je X gedaan hebt (waarbij site bezoek 1 optie is). In dit geval zitten er positieve vragen in (zou je Marketingfacts missen), maar dat is niet leidend, want velen zullen denken… Nee…. Derhalve herhaal ik de vraag: welke vragen zijn volgens jou dan leidend?
Aan het onderzoek uit 2006 hebben 347 bezoekers meegedaan. Aan het onderzoek uit 2009 deden 536 bezoekers mee. Op grond van hun reacties worden tot twee keer toe uitspraken gedaan over alle bezoekers van deze site. De onderzoekers gaan er dus van uit dat het onderzoek representatief is.
In 2006 zei zeventig procent wel eens te reageren op een bericht; in 2009 was dat zestig procent. Aan adverteerders wordt voorgehouden dat er maandelijks 200.000 unieke bezoekers zijn. Op jaarbasis ligt dat waarschijnlijk iets hoger. MF zou dus beduidend meer dan 120.000 reacties per jaar moeten krijgen; tien- tot vijftienduizend per maand.
Vergelijk dat nou eens met de realiteit. Waarom wijkt die af van het beeld dat uit het onderzoek naar voren komt? Dan kom je vanzelf op mijn kritiekpunten uit. MF meet onder fans hoe positief ze denken over de site en aanverwante activiteiten. Zo houd je jezelf voor de gek.
Me dunkt dat MF aan zijn stand verplicht is om beter onderzoek te doen.
@tvdh: fair point, true, kan ik niet ontkennen dat daar een behoorlijke discrepantie zit.
Toch herhaal ik mijn vraag nu voor de derde keer: welke vragen vind je leidend?
Tsja, je kunt natuurlijk ook helemaal géén onderzoek doen, dan weet je tenminste zeker dat je geen onjuiste resultaten krijgt. Maar even realistisch nu: tenzij het geld je op de rug groeit, is het onmogelijk om een online survey te houden die werkelijk een representatief beeld geeft. Actieve bezoekers zullen eerdere geneigd zijn mee te werken dan eenmalige of passieve bezoekers. Mensen met een uitgesproken mening zullen eerder geneigd zijn te reageren dan mensen die het allemaal niets uitmaakt. Daar veranderen andere schalen helemaal niks aan.
Dat het onderzoek niet representatief is, wil echter niet meteen zeggen dat het niet informatief is.Vergeleken met vorige onderzoeken kun je bijvoorbeeld trends vaststellen, die waardevolle informatie kunnen opleveren over de richting waarin je je beweegt.
@tvdh als je de aantallen reacties doorrekent komen deze inderdaad hoog uit. Denk dat de andere heren dat ook beamen.
Het doel van het onderzoek is niet om tot aantallen reacties te komen op berichten. Hiervoor zijn de statistieken en analytics van de site leidend. De vraag of mensen reageren is weer een indicator om mee te nemen in je analyse en kan mogelijk ook een weegvariabele zijn.
Niet representatief maar wel informatief. Zeg dat dan ook. In de verslagen van de voorgaande twee onderzoeken worden de resultaten echter zonder enig voorbehoud geprojecteerd op de gehele populatie.
Als je de antwoorden uit de voorgaande onderzoeken extrapoleert, moet MF maandelijks minstens tienduizend reacties krijgen. Hoeveel zijn dat er in werkelijkheid? Ik schat een factor vijf tot tien lager. Wat zegt dat over je onderzoek? Dat je vooral respons krijgt van mensen die vaak langskomen, meer betrokken zijn en dus niet hun schouders ophalen (meer positieve feedback).
Als je die fanbase voedt met bv stellingen die allemaal positief geformuleerd zijn en Likert-schalen waarbij de middenpositie niet neutraal maar positief is, dan ben je niet aan het hengelen naar complimentjes maar aan het sleepvissen.
Voor de buitenwereld maakt dat overigens niet zoveel uit. Maar als je dit vak nou serieus neemt, zou je ook kunnen demonsteren hoe je van onderzoek echt iets kan opsteken.
Gerelateerde artikelen
Marketingfacts. Elke dag vers. Mis niks!
Marketingfacts. Elke dag vers. Mis niks!