Onderzoek naar vacaturesites: de meningen zijn verdeeld
Net als in het begin van het jaar toen de Intelligence Group (IG) de beste recruitment site uitriep, is bij hun recente persbericht over de meest gebruikte vacaturesite wederom de nodige commotie ontstaan over de vraag hoe relevant en betrouwbaar de informatie is. In de top 50 (PDF) staat Monsterboard wederom op nummer 1. Op zich is dat niet verassend. Maar een felle discussie kwam los op verschillende weblogs over het nut van de informatie en de betrouwbaarheid van de manier van onderzoek. Totaljobs bracht vervolgens een bericht uit, o.a. opgepikt door Emerce en personeelslog, over de achterhaalde onderzoeksmethodiek van IG.
Wat is nu de kern van het verhaal? Het onderzoek van IG meet de bekendheid van vacaturesites door in een open vraag te vragen welke site men verwacht te gaan gebruiken bij de zoektocht naar een baan. “Top of mind bekendheid” is de marktonderzoekersterm die hiervoor gebruikt wordt. Totaljobs bestrijd dat dit een voor recruiters nuttige informatie is, immers, het rendement komt volgens hem door daadwerkelijk bezoek aan een vacaturesite, niet de bekendheid. En ergens kan je hen daar natuurlijk geen ongelijk in geven.
“Het AGO-onderzoek werkte prima vóór het internet-tijdperk, maar is nu toch echt achterhaald”, aldus Mark van de Sande van Reed Business in een reactie bij Personeelsnet. “Sommige vacaturesites gebruiken vooral internetmarketing om traffic naar de vacatures te trekken. Volgens Van de Sande meet het AGO-onderzoek niet het gebruik, maar slechts de bekendheid van de vacaturesites: “Het AGO-onderzoek is misleidend en wordt niet meer serieus genomen”. Van de Sande verwijst naar onderzoek dat “daadwerkelijk internet gebruik” meet, zoals het STIR en Comscore. Hoewel ook hier Monsterboard op 1 staat zit Totaljobs volgens de comscore lijst op de derde plek (12e in de IG lijst) en bijvoorbeeld Jobbingmall op de 9e plek (tegen de 47e in het IG onderzoek).
Tevens onderwerp van discussie is de 1,9% die Google aangeeft in het IG onderzoek, terwijl de praktijk uitwijst dat dit veelal veel beter is. Wat ook Mark van de Sande van Totaljobs indirect aangeeft door aan te merken dat ze veel traffic halen uit SEO en SEM. Marc Drees maakt hier op Recruitingfacts ook een punt van.
Eén van de kern problemen in deze discussie is waarschijnlijk dat de digitale media marktonderzoek een nieuwe dimensie hebben gegeven. Een aantal zaken hoeft niet meer gemeten te worden door een steekproef, maar gewoon echt in harde cijfers gemeten kunnen worden. Wat dat aangaat is het niet de eerste flater die IG slaat. In april kwam men met een bericht waaruit bleek dat veel Hyvers open zouden staan voor een nieuwe baan. Wanneer de cijfers echter werden doorgerekend had Hyves ineens 500.000 tot 600.000 meer profielen in de arbeidsmarktpopulatie (18+) dan Hyves in totaal (incl. 18-) had. In juni kwam men met een artikel dat 94% van de gebruikers van linkedin werknemer in loondienst zou zijn, waarbij men in de steekproef geen freelancers of ondernemers had meegenomen. Beide onderzoeken waren gebaseerd op een steekproef, die onnodig was omdat de echte cijfers opvraagbaar zijn.
Dat is waarschijnlijk ook wat Mark van de Sande bedoeld met zijn ‘werkte prima in het vóór internet tijdperk’ opmerking. Natuurlijk moest je vroeger (o.a. vanwege meelezers) onderzoeken hoeveel lezers een krant of tijdschrift had. Maar bij websites kan je dit in echte getallen meten. Natuurlijk moet de site meewerken en is er veel discussie geweest over de betrouwbaarheid van deze informatie. Maar gelukkig is er met de STIR een instituut in de markt gezet dat dit onafhankelijk en objectief doet. De volgende stap hierin is, hopelijk, dat alle (of in ieder geval veel meer) sites worden opgenomen bij de STIR. Immers, de groei van de niche sites die IG nu ziet, is bij STIR niet meetbaar omdat deze sites niet worden meegenomen. Maar het is wel een waardevolle trend.
De reden waarom de discussies nu zo fel opladen lijkt duidelijk. Er wordt informatie verspreid die een twijfelachtig nut heeft, maar waar helaas de traditionele journalistiek geen vraag bij stelt en derhalve klakkeloos overschrijft. Vooral de interpretatie die wordt gegeven aan de informatie, zoals monster die zichzelf op basis van bekendheid ook meteen ‘de meest gebruikte vacaturesite’ noemt is storend. Ze zijn het wel, maar op basis van het IG onderzoek kan je dat helemaal niet stellen. Recruiters baseren vervolgens de verdeling van hun advertentiegelden op basis van dergelijke ‘lijstjes’ en dat kost vacaturesites die niet bekend zijn, maar wel veel traffic hebben geld.
De vraag is dus: wat is het meest nuttig voor een recruiter om te weten? Waarschijnlijk waar hij of zij het beste rendement kan halen. Natuurlijk zou je dat het liefst meten via aantal sollicitaties, maar dit meten recruiters zelf helaas maar heel beperkt. Dus dan moet je voor een tweede keus gaan en dan is de traffic die een vacaturesite heeft relevanter dan de bekendheid. Uiteraard zouden recruiters eigenlijk zelf hier helemaal niet op moeten varen, maar gewoon moeten meten waar hun ‘hires’ vandaan zijn gekomen en op basis hiervan hun beleid uitzetten. Waarbij natuurlijk ruimte moet zijn voor experimenten met ‘nieuwe’ vacaturesites (bijvoorbeeld niche boards) en Google Adwords.
Freelance professioneel bemoeial. Kijkt altijd naar het fundamentele probleem, niet de quick fix. Centrale focus zijn de (online) dialogen met klanten, stakeholders, medewerkers en toekomstig medewerkers (afhankelijk van de opdracht). Actief als interim community manager, projectleider voor nieuwe corporate recruitmentsites, adviseur bij verschillende start ups en inspirator m.b.t. de toekomst van werk (de arbeidsmarkt van de 21e eeuw).
Mark van de Sande heeft gewoon volledig gelijk. De onderzoeksmethode die IG er op na houd is onwijs achterhaald en allang niet meer relevant.
Goede analyse van de discussies die de laatste dagen voorbij kwamen Bas, complimenten!
“als je wordt geschoren, moet je stil zitten”. Toch is het goed om, na alle toelichtingen op de verschillende sites, kort nog een aantal feiten toe te lichten.
1. de berekening van Bas op hyves (verschil van 2.3 en 2.7 miljoen personen zeg ik uit mijn hoofd) is inmiddels achterhaald doordat hyves 3 miljoen personen heeft. Wellicht dat de 2.7 die je toen uitrekende op basis van ons persbericht toch dichter bij de waarheid lag dan we toen aannamen?
2. De STIR wordt constant aangehaald als interessante bron. Akkoord. Graag zou ik dan ook het rijtje van de STIR van vacaturesites zien terugkomen in een van de analyses. Nu is het onduidelijk waarmee we vergelijken.
3. De discussie m.b.t. beste recruitmentsites was terecht, al was het ook appels met peren vergelijken (het onderzoek ging niet in het proces achter de site). Het aanbod staat nog steeds dat de bloggers van bijvoorbeeld HRlog de top 10 beste recruitmentsites van NL mogen nomineren. Graag verneem ik of zij deze handschoen willen oppakken.
4. Het AGO maakt veel nichesites inzichtelijk (we meten letterlijk 1000-en sites). Voor veel HRM’ers en recruiters zeer interessante informatie om met hun wervingsboodschap dicht op de doelgroep te zitten. De kracht van AGO is dat het onderzoek dit inzichtelijk maakt en dat het onderzoek onafhankelijk is. Zo kun je met AGO inzage krijgen in het zoekgedrag van ervaren journalisten tot en met junior SAP Consultants of vuilismannen. Algemene bezoekcijfers waaraan gerefereerd wordt, geven daar geen inzicht in (laat staan dat deze cijfers inzicht geven in bijvoorbeeld het sollicitatiegedrag van deze bezoekers). Dat maakt het AGO waardevol voor media-inzet.
5. Wij zijn helder in de doelgroep die we onderzoeken en de doelstelling die we daarmee willen bereiken. In dat kader (en met die restricties) moet je het onderzoek ook interpreteren. Welk onderzoek je ook gebruikt. Er zijn altijd mitsen en maren c.q. gaten in te schieten. Aan de andere kant zijn het ook openingen voor verbeteringen….. en in die kant vind ik deze blogs zeer de moeite waard.
@Geert-Jan: wie geschoren zit, moet vooral niet stil zitten in het web 2.0 tijdperk, hebben we hier al lang gemerkt.
1) kraam nu geen onzin uit. Op dat moment had Hyves (ik heb het op het moment dat je met je onderzoek uitkomt bij Raymond nagevraagd) 2,1 miljoen leden waarvan 17% onder de 19 (ja, ik geef toe, 19, geen 18). Maar even daargetalen: Je zat er bijna 1 miljoen mensen naast.
M.b.t. punt 3: het ging niet enkel om het proces, het ging om het feit dat er nog veel en veel meer niet klopte.
M.b.t. punt 4: ik betwits niet dat het ago waarde heeft op dat punt. Het probleem wat mensen als Mark en inmiddels de halve nieuwe media industrie met IG hebben is dat je ook over dingen waar je geen degelijke informatie over hebt, uitspraken blijft doen. Overigens is het natuurlijk altijd een vraag hoeveel unieke respondenten ago heeft (immers, je doet het onderzoek maandelijks, hoeveel daarvan komen dus regelmatig terug, want om op het niveau uit te splitsen wat je doet heb je wel een mega steekproef nodig. Dit is geen kritiek dat het niet klopt, alleen een vraag hoe je voorkomt dat, gezien het feit dat je respondenten inkoopt, je 100% zeker kan zijn dat die ene vuilnisman niet elke maand of elke twee maanden meedoet zodat zijn mening wel erg zwaar meetelt).
@bas
iemand die vandaag mee doet in het AGO wordt de komende 2 jaar niet meer uitgenodigd om mee te doen met het onderzoek. Op deze manier hebben we ruim 32.000 unieke deelnemers per twee jaar. Onze analyses strekken dan ook maximaal over een periode van twee jaar (om te voorkomen dat je dubbele respondenten hebt). Uiteraard, als de steekproef dat toelaat, maak je de analyses met de meest actuele data.
M.b.t. het uitkramen van onzin: Alles doen we netjes onderbouwd, open, onafhankelijk en zijn ook zeer bereid om goed uit te leggen wat we doen. Dat blijven we ook doen en opmerkingen zullen we correct blijven antwoorden.
Ik blijf overigens benieuwd naar welke recruitmentsites jij zou nomineren als benchmark. Niet alleen voor ons, maar juist ook voor alle lezers van dit blog. Dat geldt ook voor de STIR cijfers die door iedereen worden aangehaald, maar die ik nog steeds niet heb kunnen terugzien.
@Geeert-Jan: maar hoe controleer je dat? Even dubbele accounts daargelaten: hoe controleer je die enkele status? Koop je bij meerdere bronnen in? Of maar één?
En zoals eerder aangegeven: volgens jouw methodieken is het allemaal onderbouwd. Maar als het bewijs er toch ligt dat je er naast zit, waarom kan je dan niet gewoon je fout toegeven? Ook al heb je je statistisch aan alle eisen gehouden, het klopt niet, punt. Dan kan je, zoals nu, blijven volhouden dat je gelijk hebt en dat je ‘open en onderbouwd’ bent geweest, de uitkomst was verifieerbaar incorrect. Geef dat dan gewoon toe.
Ik ben nog altijd van mening dat je tijdens het scheren stil moet zitten, ook al moet ik toegeven dat mijn scheerroutine zich meestal ’s ochtends om 6:15 in de auto afspeelt, terwijl ik me over de A4 richting Amsterdam beweeg.
Ten aanzien van zowel de top 50 van vacaturesites als de beste (corporate) wervingssite, zijn de argumenten door de verschillende partijen ondertussen uitgebreid naar voren gebracht. We beginnen zo langzamerhand onszelf te herhalen.
Als de discussies op de verschillende blogs (Emerce, Expand, HRlog, Marketingfacts, Nu.nl, Personeelslog, Recruitingfacts en ongetwijfeld anderen) iets duidelijk hebben gemaakt is dat met de huidige beoordelingsmethodes geen consensus kan worden bereikt over de betekenis en kwaliteit van de uitkomsten. De cijfers zijn multi-interpretabel en daarmee van beperkte waarde. Toegegeven, het is beter dan helemaal geen cijfers, maar ik kan niet zeggen dat ik met de getallen van Comscore en de Intelligence Group Top 50 iets wijzer ben geworden.
Onderzoek dient relevant te zijn vanuit een praktisch perspectief. Aangezien er mbt. Online recruitment twee primaire belanghebbenden zijn; werkzoekenden en werkgevers, dienen cijfers en conclusies vanuit hun perspectieven te worden getoond. Zoniet, hup de prullenbak in; anders wordt het goedkope vulling voor luie ‘journalisten’ en ‘bloggers’. Herkauwers.
buy generic tramadol online tramadol for dogs incontinence – tramadol withdrawal last
Gerelateerde artikelen
Marketingfacts. Elke dag vers. Mis niks!
Marketingfacts. Elke dag vers. Mis niks!