Onderzoek eBay: “SEA voor grote merken is niet effectief”
Onlangs publiceerde eBay de resultaten van een onderzoek naar paid search effectiveness. De belangrijkste conclusie van dat onderzoek was dat de effectiviteit van het adverteren in zoekmachines eigenlijk heel erg tegenviel. Deze conclusie maakte veel reacties los en werd vooral ook door veel mensen in de wind geslagen. Toen ik er achter kwam dat eBay deze conclusie baseerde op een wetenschappelijk ingestoken onderzoek, was mijn interesse als academicus gewekt om hier wat dieper in te duiken. Gezien de grote hoeveelheid niet wetenschappelijk verantwoorde onderzoeken die in dit vakgebied gepubliceerd wordt, wilde ik wel eens weten hoe dit onderzoek dan in elkaar stak. Hoe hebben ze dit eigenlijk goed kunnen onderzoeken? Wat waren de daadwerkelijke resultaten? En wat kunnen we hier uiteindelijk van leren? In dit artikel zullen niet alle resultaten tot in detail besproken worden, maar wordt vooral geprobeerd een beeld te scheppen van de belangrijkste bevindingen. Voor alle resultaten en cijfers verwijs ik je graag door naar het daadwerkelijke onderzoek.
De samenvatting
Online adverteren is de laatste jaren het snelst groeiende advertentiekanaal, waarbij het meeste geld besteed wordt aan advertenties in zoekmachines. In dit onderzoek worden resultaten gepresenteerd uit een serie veldexperimenten op grote schaal uitgevoerd bij eBay, met als doel de causale effectiviteit van betaalde advertenties in zoekmachines te bepalen.
De resultaten laten zien dat advertenties op merkgerelateerde zoektermen geen korte-termijnvoordelen hebben en dat alle andere zoekwoorden slechts een fractie opleveren van conventionele schattingen. Uit het onderzoek blijkt verder dat nieuwe en onregelmatige gebruikers positief beïnvloed worden door de advertenties, maar dat bestaande loyale gebruikers van wie het aankoopgedrag niet beïnvloed wordt door deze advertenties verantwoordelijk zijn voor het grootste deel van de advertentiekosten, met als resultaat dat gemiddeld de opbrengsten van deze advertenties negatief uitvallen. In het onderzoek worden verder nog alternatieve kanalen en de implicaties voor advertentiekeuzes voor grote merken.
De aanleiding
eBay geeft aan dat inzicht krijgen in de effectiviteit van advertenties altijd moeilijk wordt gevonden.
“I know half the money I spend on advertising is wasted, but I can never find out which half.”
Traditionele kanalen hebben per definitie eigenlijk weinig mogelijkheden om direct inzicht te krijgen in de effectiviteit van advertenties. Online marketing biedt meer mogelijkheden, aan de ene kant door specifiekere targetingmogelijkheden en aan de andere kant door uitgebreidere meetmogelijkheden. Omdat kosten en opbrengsten direct inzichtelijk zijn, zou dit de adverteerder de mogelijkheden moeten geven om de ROI van advertenties te bepalen. Toch lijken problemen als endogeniteit een serieuze uitdaging te vormen om de causale relatie tussen uitgaven en opbrengsten echt goed te kunnen bepalen.
Het grote probleem hierbij volgens eBay is dat degene die goed reageren op advertenties in zoekmachines vaak al bestaande loyale gebruikers zijn. Hierdoor lijken deze advertenties goed te werken, terwijl deze gebruikers zonder deze advertenties waarschijnlijk de website ook wel op een andere manier gevonden hadden. Met dit onderzoek wil eBay onderzoeken of dit probleem daadwerkelijk zorgt voor een vertekend beeld.
Het onderzoek – deel 1: Brand keywords
eBay is begonnen met een onderzoek naar brand keywords, zoektermen waar de bedrijfsnaam in voorkomt. In het geval van eBay dus alle zoektermen waar “ebay” in voorkomt. De verwachting van eBay was dat gebruikers die zoeken naar eBay zonder advertenties ook wel bij eBay uit zouden komen en de advertenties daardoor dus geen additionele bezoekers en verkopen zouden generen.
In het onderzoek pauzeerde eBay alle advertenties op brand keywords binnen de zoekmachines van Yahoo! en Microsoft en lieten ze deze advertenties ter controle binnen Google doorlopen. Het resultaat was dat de daling in bezoekers via de advertenties vrijwel geheel gecompenseerd werd door de stijging in bezoekers via organische resultaten. Het aantal bezoeken daalde slechts met 0,53% door het uitzetten van de advertenties.
Een paar maanden later werd dit experiment nog eens herhaald waarbij de advertenties binnen Google werden uit gezet. Hierbij ging 3,21% van de bezoeken verloren. Volgens eBay levert dit een sterk bewijs dat organisch zoekverkeer vrijwel een perfecte vervanging is van betaald zoekverkeer op brand keywords.
Het onderzoek – deel 2: Non-brand keywords
Het tweede deel van het onderzoek richt zich op non-brand terms, zoektermen waar de bedrijfsnaam niet in voorkomt. In het geval van eBay zijn dit veelal zoekopdrachten van gebruikers gericht op informatie over producten of diensten die ze verder willen bekijken of zelfs kopen. Wanneer hier advertenties vertoond worden aan gebruikers die niet weten dat deze producten worden aangeboden door de adverteerder (in dit geval eBay) dan kunnen hiermee additionele verkopen gegenereerd worden die zonder de advertenties niet tot stand waren gekomen. Maar deze advertenties zullen ook gebruikers bereiken die eBay al wel kennen. Hierdoor bestaat de kans dat deze gebruikers op de advertentie klikken terwijl ze uiteindelijk toch wel bij eBay terecht waren gekomen.
Om te onderzoeken wat de waarde van advertenties voor deze zoektermen is, heeft eBay een test ingericht waarbij een deel van de gebruikers wel advertenties ziet bij deze zoekopdrachten en een controlegroep geen advertenties ziet. Deze scheiding is gemaakt op basis van regiotargeting, waarbij verschillende regio’s binnen de VS willekeurig werden ingedeeld in één van de twee groepen. Hierna is er gekeken naar het effect van het deactiveren van de advertenties op de totale omzet binnen deze regio´s. Hieruit komt naar voren dat in de regio’s waar wel advertenties draaiden de inkomsten geen statistisch siginificant verschil vertoonden in vergelijking met de regio’s waar geen advertenties draaiden.
Door de dataset verder te analyseren is er nog gekeken voor welke groepen gebruikers advertenties in zoekmachines wel impact hebben. Hieruit kwam naar voren dat bij gebruikers die in de afgelopen periode weinig bij eBay gekocht hebben en waarbij de aankoop lang geleden is, de impact van de advertenties groter is op het aantal verkopen. Oftwel: SEA heeft de meeste toegevoegde waarde op de minst actieve klanten van eBay. En: grote bedrijven als eBay, met een sterk merk, profiteren maar in kleine mate van SEA omdat de meeste gebruikers eBay al kennen en weten wat ze te bieden hebben. Het nadeel is echter dat het grootste deel van de advertenties juist die terugkerende bezoekers bereikt.
Vervangende kanalen
Omdat bij het uitzetten van betaalde advertenties in zoekmachines er een “deur” naar de website gesloten wordt en er toch evenveel verkocht wordt, heeft eBay gekeken via welk kanaal deze verkopen dan toch bij eBay uitkwamen. Opvallend is hierbij dat ze voor non-brand terms geen vervangende rol van natuurlijke zoekresultaten zien. Bezoekers die dus niet via betaalde advertenties binnen komen, komen ook niet via niet-betaalde resultaten in de zoekmachines binnen. Blijkbaar is er een ander manier waarop die gebruikers uiteindelijk toch bij eBay binnen komen. eBay zegt hier zelf over dat ze verwachten dat eBay zo’n sterk merk is dat mensen in hun zoektocht naar een bepaald product uit zich zelf toch wel een keer naar eBay gaan. Dit testen ze echter niet verder in het onderzoek.
ROI
Om inzichtelijk te maken wat de daadwerkelijke impact is van de resultaten van dit onderzoek heeft eBay de implied return on investment van SEA berekend. Dit hebben ze simpelweg gedaan door de verandering van de uitgaven aan SEA als ze de advertenties terug zouden brengen naar 0 te vergelijken met de verwachte totale verandering aan inkomsten (op basis van de eerder geconstateerde effecten). Hiermee kunnen ze dus benaderen wat de toegevoegde waarde van de uitgaven aan SEA in het afgelopen jaar zou hebben gehad op het bedrijfsresultaat. Ze benoemen hierbij wel dat deze berekening alleen gaat over de kortetermijnresultaten. De beste berekening volgens het onderzoek komt uit op een ROI van -75% op de uitgaven aan SEA.
Discussie
Een opvallend resultaat dus: de effectiviteit van SEA voor een bekend merk als eBay is op zijn hoogst beperkt te noemen. Een resultaat dat totaal niet in lijn ligt met wat veel adverteerders ervaren en wat bijvoorbeeld Google wil uitdragen.
Gelukkig valt er dan ook nog genoeg over te discussiëren. Dit resultaat zal bijvoorbeeld alleen representatief zijn voor vergelijkbare grote merken. Denk aan merken waarbij mensen in de oriëntatie voor een bepaald product of dienst ergens tijdens de oriëntatie zelf wel bij het merk uitkomen. Voorbeelden hiervan in Nederland zouden bijvoorbeeld kunnen zijn:
-
Independer voor verzekeringen
-
Marktplaats voor tweedehands producten
-
Bol.com voor boeken
-
Booking.com voor hotels
Maar fundamenteler is er nog veel meer kritiek op het onderzoek. De belangrijkste daarvan: eBay zou simpelweg slechte SEA-campagnes hebben, waardoor de effectiviteit van de campagnes erg laag is. Maar eigenlijk wil ik hier een beetje van deze discussie wegblijven en vooral kijken wat je hiervan wél kunt leren. Of in ieder geval waar je over na moet denken, wat mij betreft.
eBay heeft namelijk wel een punt dat veel adverteerders zich met SEA richten op de zoekwoorden die de beste ROI hebben. Maar het risico daarbij is dat je je met je advertenties gaat richten op de gebruikers die toch wel bij je zouden gaan kopen. Door de herkenning van je merk haal je die makkelijker binnen met je advertenties en die gebruikers converteren ook nog eens lekker goed. Bovendien is het systeem van Google AdWords er op gericht om dit soort advertenties hoger te vertonen in de lijst met advertenties. De bijbehorende hoge kwaliteitscores en daarmee lagere CPC’s zorgen er ook nog eens voor dat je als adverteerder sneller geneigd bent deze advertenties te blijven inzetten omdat de directe ROI eerder hoger wordt dan lager.
Het probleem is echter dat je op dat moment niet bezig bent om je producten en diensten onder de aandacht te brengen bij de doelgroep die je merk nog niet kent, of nog niet weet dat je de betreffende producten aanbiedt. Je bent ook niet geneigd om dit te doen, omdat bij deze groep de kans dat ze op je advertenties klikken kleiner is, je kwaliteitscores daardoor lager zijn, je CPC’s daardoor hoger worden en je directe ROI uiteindelijk lager wordt (lijkt).
Maar de vraag is: draagt deze laatste categorie uiteindelijk niet veel meer bij aan de totale inkomsten omdat je een doelgroep bereikt die anders niet zou kopen? Terwijl de eerste groep uiteindelijk misschien heel weinig bijdraagt aan de totale inkomsten, omdat die doelgroep zeer waarschijnlijk toch al bij je kocht. Aan de andere kant kan je je afvragen of de hoge kosten die je hebt om de tweede groep te overtuigen bij je te kopen wel genoeg opbrengt, terwijl de minimale extra inkomsten van de eerste groep misschien genoeg zijn om de lage kosten van die advertenties te dekken.
Slot
Hoe dan ook een zeer interessant onderzoek van eBay met een gedurfde conclusie. Mijn doel van dit artikel is niet geweest het onderzoek te bevestigen dat wel te ontkrachten, maar te laten zien hoe het tot stand is gekomen en te laten zien dat cijfers altijd op meerdere manieren te interpreteren zijn. En dat het daardoor gevaarlijk kan zijn om je te veel te laten leiden door cijfers als ROI, zonder te beseffen wat ze daadwerkelijk betekenen en vooral wat ze niet betekenen. Iets waarover ik al eerder het artikel Meetbaarheid en ROI: de grote valkuilen van online marketing schreef.
Ik ben heel benieuwd naar de reacties van verschillende mensen in verschillende rollen die met SEA te maken hebben. Is dit allemaal onzin? Twijfel je zelf ook wel eens over adverteren op je eigen merknaam? Kan je niet geloven dat SEA daadwerkelijk zoveel effectief is? Of ben je allang gestopt met SEA omdat je het gevoel hebt dat je betaalt voor bezoekers die je anders ook wel krijgt? Laat het weten!
Credits afbeelding: brainc (CC)
14 jaar actief geweest in online marketing. Nu Head of Marketing bij Picqer. Gelooft dat goede marketing ontstaat als doelgroepkennis, creativiteit en doelgerichtheid samenkomen.
Bedankt voor het waardevolle artikel Jeroen. Ik denk dat SEA voor kleinere bedrijven op korte termijn zeker van waarde kan zijn, om je als nieuwkomer te kunnen profileren. Op langere termijn zou ik echter meer inzetten op content marketing om daarmee onder meer beter gevonden te worden in de organische zoekresultaten.
Gezien het verkrijgen en het onderhouden van vertrouwen bij de consument de belangrijkste voorwaarde is voor het tot stand houden van gezonde handel, zou ik gewoon op beide groepen blijven inzetten. Je wilt toch in het hoofd van de mensen komen en daar blijven.
Als jij een succesvol merk bent, dan verwacht een klant jouw merk tegen te komen in de organische en in de betaalde advertenties, ook als de klant niet direct met jou bezig is (beide groepen zijn dus belangrijk!).
Zowel de nieuwe, als de bestaande klant verwachten van jouw merk kwaliteitsadvertenties tegen te komen, daar waar zij relevant zijn. Zónder dat jouw advertentie in de beleving van de klant storend of creepy is (het is overigens ongelovelijk hoe slecht veel grote merken op YouTube rekening houden met de beleving van de klant!).
Het is wel erg kort door de bocht om enkel naar het financieel rendement van SEA te kijken. Ik gok dan ook dat Ebay hier gewoon mee door blijft gaan!
Goed artikel, raakt wel de kern van de problematiek m.i.
Dit onderzoek onderstreept misschien ook wel dat Google Adwords zowel een promotie als distributiekanaal is. In het begin van het koopproces (afhankelijk van organische positie) levert het nieuwe klanten, (kan zijn merknaam, brede zoekwoorden maar ook longtail) echter in een later stadium bekleed adwords een minder waardevolle distributiefunctie. Google Retargeting for search is hierbij een oplossing!
M.b.t. Deel 1:
Jammer dat ze dit niet hebben getest in Google. Ik ben van mening dat je daar middels sitelinks waarin je lopende acties kun communiceren een betere conversie kunt behalen dan via het organische resultaat op je brandname.
Organisch verkeer kan in dit geval dus een vervanging zijn voor traffic, maar is dat ook het geval voor conversie (of simpelweg het onder de aandacht brengen van je consumenten acties)?
M.b.t. Deel 2:
Ik ga mee in wat Tens zegt, online aanwezigheid is key.
Je noemt het volgende in je artikel:
“Grote bedrijven als eBay, met een sterk merk, profiteren maar in kleine mate van SEA omdat de meeste gebruikers eBay al kennen en weten wat ze te bieden hebben.”
Er vanuit gaan dat een consument weet wat een partij als eBay te bieden heeft lijkt me niet juist. Een retailer met de omvang van eBay is naar mijn mening een startpunt voor de consument. Op het moment dat hij op zoek is naar een product kijkt hij of het te verkrijgen is bij de retailer waar hij vertrouwen in heeft. De tweede optie is dat hij een zoekopdracht intikt in google en getriggerd wordt door de advertentie van de grote retailer.
Interessant artikel!
@Wouter Deel 1 hebben ze wel getest in Google en daarbij zien ze ook dat organic een bijna perfecte vervanging is voor SEA. Zie grafiek (b) in figure 2.
Je zegt: “Er vanuit gaan dat een consument weet wat een partij als eBay te bieden heeft lijkt me niet juist.” Toch zien ze na het uitzetten van de advertenties geen terugloop in inkomsten. Hoe verklaar je dat dan?
Nogmaals dat online aanwezigheid key is ben ik met je eens. Maar wat mag dat kosten als je op andere manieren die bezoekers ook binnenhaalt. Op korte termijn blijkt het voor eBay niet rendabel, op lange termijn moet dat natuurlijk nog maar blijken.
@Wouter Wat betreft die kwaliteitscore heb je inderdaad gelijk, maar hoeveel is dat je waard?
Kan ik zo niet zeggen. Zou getest moeten worden om de exacte waarde ervan te bepalen.
Bedankt voor de verwijzing naar het onderzoek! Deze was ik zelf nog niet tegengekomen.
Ik moet hem nog even helemaal lezen, maar ik heb het idee dat ze niet gekeken hebben naar variabelen zoals organische rankings en CTR (voor de non-branded terms). Een beetje een gemiste kans, aangezien uit (eigenlijk alle) gerelateerde onderzoeken naar voren komt dat dit van invloed is op het klikgedrag van de consument.
De negatieve perceptie van klanten kan de uitkomst van het onderzoek iig wel verklaren, maar zoals je zelf ook al aangaf: voor elk bedrijf (en elk keyword) zal de uitkomst anders zijn.
Hi Jeroen,
Interessant onderzoek van eBay, dank voor het delen.
Endogeniteit is absoluut een issue en onderdeel van de industrie curve en skill set van marketeers.
Mbt de vraag waarom grote bedrijven zoveel uitgeven, het is wel van belang na te gaan wat voor soort bedrijven dat zijn. Een sterk merk is één aspect, maar je kunt eBay niet vergelijken met Samsung of wat dan ook.
@Martijn Hoe kan de conclusie kort door de bocht zijn als eBay aantoont dat het uitzetten van SEA geen directe gevolgen heeft voor hun inkomsten? De alternatieven zijn er legio, en de conclusie toont aan dat consumenten eBay dus ook wel via die alternatieven weten te vinden.
Wat ze hier ook laten zien en uitleggen is dat SEA meestal de meest winstgevende bron lijkt doordat je er veel bezoekers mee binnenhaalt die jou anders ook wel gevonden hadden.
Heey Jeroen,
De conclusie “SEA voor grote merken is niet effectief” vind ik kort door bocht, omdat:
1. veel grote merken juist groot zijn geworden door (onder andere) de inzet van SEA,
2. de effectiviteit van SEA afhankelijk is van veel verschillende factoren (waaronder bijvoorbeeld de branche waarin men adverteert). Je kunt derhalve niet zomaar concluderen dat de uitkomsten van het onderzoek die voor Ebay gelden dus ook voor andere grote merken gelden.
3. Wellicht is het (voor grote merken) niet effectief om te adverteren op merknaam, maar dat wil niet zegen dat SEA in zijn geheel niet effectief is.
Met conversie-attributie kun je precies meten of de omzet die nu gegenereerd wordt door SEA ook behaald zou worden wanneer je SEA niet had toegepast.
Ook dat is natuurlijk niet geheel waterdicht, maar het voorkomt dat je aannames doet als “zonder SEA hadden die bezoekers jou ook wel gevonden” .
@Martijn Ah, het gaat dus meer om de titel van het bericht. De conclusie van het onderzoek slaat inderdaad meer op eBay zelf en hoeft niet per se voor andere merken op te gaan. Het onderzoek lijkt me wat mij betreft voor grote merken wel een goede aanleiding om deze hypothese eens goed te gaan testen.
Ik ben het echter niet met je eens dat conversie-attributie je dat inzicht kan geven. Dat geeft alleen uitsluitsel of een bron een rol heeft gespeeld in een conversie, maar zegt niks over of zonder die bron de conversie ook plaats had gehad. en dat is nou net hetgeen je wilt testen.
Hi Jeroen,
Erg bedankt voor het delen van dit artikel. Erg waardevol.
ps netjes hoe je reageert op de comments. Dergelijke artikelen doen altijd behoorlijk wat stof opwaaien 😉
@Sander bedankt! Ik vind het belangrijk om hier op te reageren omdat ik de discussie eigenlijk belangrijker vind dan de resultaten van het onderzoek. Helaas nog maar weinig onderbouwde voorbeelden uit de praktijk gehoord die het onderzoek daadwerkelijk ondersteunen of ontkrachten. Daar had ik stiekem toch ook een beetje op gehoopt.
@Jeroen Ja dat zou zeker mooi zijn. De boys bij Bol of CoolBlue zijn misschien nog wel zover te krijgen om de handschoen op te pakken en het onderzoek van Ebay voor de eigen markt uit te voeren?
Ik roep al jaren dat het niet meer werkt. Adverteren is veel te duur geworden en concurrenten klikken al je budget weg. Heb het zelf meegemaakt met mijn website http://www.bestofamsterdam.com vele duizenden euro’s in de sloot gegooid bij Google.
@Steffen Het lijkt mij dat Best of Amsterdam niet het merkvoordeel heeft dat eBay heeft. Dus de redenen dat het niet werkt zullen waarschijnlijk anders zijn. Wat zijn volgens jou de redenen dat het niet meer werkt?
Gerelateerde artikelen
Marketingfacts. Elke dag vers. Mis niks!
Marketingfacts. Elke dag vers. Mis niks!