Het A/B-effect: slecht nieuws voor fans van evidence-based beslissingen

Slecht nieuws voor liefhebbers van evidence-based besluitvorming: nieuw onderzoek laat zien dat het uitvoeren van experimenten om beslissingen op te baseren weerstand oproept. Zelfs als mensen er niets op tegen zouden hebben als willekeurig een van de opties zou worden doorgevoerd.

Als nog onbekend is welke aanpak het beste werkt, wordt het uitvoeren van een gerandomiseerd experiment (in de volksmond meestal A/B-test genoemd) als de gouden standaard van onderzoek beschouwd. Met een experiment kan namelijk bewezen worden welke aanpak het meest succesvol zal zijn. Toch blijken veel mensen volgens het onderzoek van Michelle Meyer en collega’s (2019) het uitvoeren van een experiment ongepaster te vinden dan het willekeurig kiezen voor een aanpak zonder bewijs dat deze effectief zal zijn.

Online experiment leidt tot ophef

Meyer opent haar paper met anekdotisch bewijs dat het uitvoeren van experimenten tot ophef kan leiden, ook als het experiment een nobel doel dient. De Amerikaanse aanbieder van online studies Pearson Education wilde haar studenten motiveren om studieopgaven vaker af te maken door aanmoedigende berichten aan haar producten toe te voegen. Op basis van psychologische literatuur werden twee benaderingen gekozen die effectief zouden kunnen zijn: het stimuleren van een ‘growth mindset’ (bijvoorbeeld “No one is born a great programmer. Success takes hours and hours of practice.“) en ‘anchoring of effect’ (bijvoorbeeld “Some students tried this question 26 times! Don’t worry if it takes you a few tries to get it right.“).

“Is het ethisch gezien ‘beter’ om beslissingen te nemen op basis van intuïtie dan op basis van experimenteel bewijs?”

In een online veldexperiment onder duizenden studenten werden beide benaderingen getest tegen een controlegroep (de bestaande versie van de online cursus zonder aanmoedigende berichten). Toen Pearson de resultaten van dit onderzoek openbaar maakte, leidde dit tot een stortvloed aan negatieve reacties. Neem bijvoorbeeld dit artikel in The Washington Post waarin Pearson verweten wordt ethische grenzen te hebben overschreden door hun studenten – zonder hun toestemming – als ‘proefkonijnen’ te gebruiken voor hun eigen onderzoeksdoelen. Je kunt je niet aan de indruk onttrekken dat deze weerstand niet ontstaan was als Pearson ervoor had gekozen willekeurig één van beide benaderingen door te voeren. Is het ethisch gezien dan ‘beter’ om beslissingen te nemen op basis van intuïtie dan op basis van experimenteel bewijs?

Het A/B-effect

In een reeks van zestien experimenten onder 5.873 deelnemers blijken mensen het ongepast te vinden als er een veldexperiment wordt uitgevoerd om aan te tonen welke van twee benaderingen het meest effectief is, terwijl ze het wel gepast vinden als willekeurig een van deze benaderingen wordt uitgevoerd. Dit resultaat komt naar voren in uiteenlopende domeinen (van de gezondheidszorg tot het design van zelfrijdende auto’s) en is onafhankelijk van opleidingsniveau of kennis over het onderzochte domein. Meyer noemt dit het A/B-effect.

Ter illustratie: als onbekend is welke van twee medicijnen het beste werkt, hebben de meeste deelnemers liever dat een arts ofwel medicijn A ofwel medicijn B aan iedereen toedient, dan dat hij de helft van de patiënten het ene medicijn geeft en de andere helft het andere om erachter te komen welke het meest effectief is.

Beslissen op intuïtie

Blijkbaar is het uitvoeren van veldexperimenten voor mensen intuïtief minder acceptabel dan het willekeurig kiezen voor een van meerdere opties. Wat mij betreft is dit zorgelijk. Het leidt ertoe dat besluitvormers er eerder voor zullen kiezen om een beslissing te nemen zonder bewijs te verzamelen over wat het effect zal zijn. Ofwel omdat ze zelf geen goed gevoel hebben bij veldexperimenten, of omdat ze bang zijn dat anderen – klanten, kiezers, (sociale) media, andere stakeholders – er negatief op zullen reageren.

“Het uitvoeren van veldexperimenten is voor mensen intuïtief minder acceptabel dan het willekeurig kiezen voor een van meerdere opties”

Dit terwijl bekend is dat het nemen van beslissingen op basis van intuïtie heel risicovol is. Als gedragswetenschapper voer ik online experimenten uit voor vele verschillende bedrijven en zie ik terug dat grofweg een kwart van de ideeën het beoogde resultaat oplevert. Ongeveer de helft van de ideeën heeft helemaal geen effect (en is de investering die nodig is voor de uitvoering dus niet waard). Een kwart van de ideeën zorgt als ze doorgevoerd wordt zelfs voor een verslechtering van de situatie.

Nog even terug naar het voorbeeld van Pearson Education. Uiteindelijk bleken beide aanmoedigende berichten in het experiment ervoor te zorgen dat studenten minder studieopgaven afronden. Beide benaderingen hadden dus een negatief effect! Als Pearson ervoor gekozen had om geen experiment uit te voeren maar een van beide benaderingen te kiezen, was niemand erover gevallen. Maar het resultaat was dan, ondanks alle goede bedoelingen, slecht geweest voor de studenten.

Weg met het A/B-effect

Het slechte nieuws is dat je waarschijnlijk meer weerstand ondervindt als je je beslissingen baseert op de uitkomsten van een veldexperiment dan wanneer je je beslissingen neemt op basis van je intuïtie over wat beter gaat werken. Laat je daardoor niet ontmoedigen, want we weten ook dat experimenten een enorme potentie hebben om besluitvorming in zowel de publieke als de private sector te verbeteren. En de praktijk leert dat mensen hun mening over experimenten maar wat graag bijstellen als ze ontdekken hoeveel het oplevert.

Het wordt steeds makkelijker om experimenten uit te voeren en we worden er steeds beter in. Toch is de mogelijkheid om op grote schaal evidence-based beslissingen te nemen nog relatief nieuw. Zo bezien is het niet raar dat mensen er nog even aan moeten wennen. Het is aan ons, als liefhebbers van evidence-based beslissingen, om de waarde van experimenteren te bewijzen, de mensen om ons heen te enthousiasmeren en het A/B-effect te laten verdwijnen.

“Mensen stellen hun mening over experimenten maar wat graag bij als ze ontdekken hoeveel het oplevert”

Heb je zelf een voorbeeld van een experiment dat weerstand opriep terwijl je dit niet verwachtte? Of heb je een verklaring waarom mensen een voorkeur hebben voor het uitvoeren van een van twee opties boven het uitvoeren van een experiment? Dan hoor ik het graag!

Bron

Meyer, M. N., Heck, P. R., Holtzman, G. S., Anderson, S. M., Cai, W., Watts, D. J., & Chabris, C. F. (2019). Objecting to experiments that compare two unobjectionable policies or treatments. Proceedings of the National Academy of Sciences, 116(22), 10723-10728.