Confirmation Bias: hoe ik mijn collega’s manipuleerde

Wel eens gehoord van The Paradox of Confirmation? Wellicht beter bekend onder de naam van het meest bekende voorbeeld, Raven’s Paradox, van de Duitse wetenschapsfilosoof Carl Gustav Hempel in 1965. Het probleem is als volgt: wanneer je onderzoek doet, wil je zoveel mogelijk observaties (data) verzamelen om zeker te zijn van je bevindingen. Het toetsen van een hypothese kan niet worden bevestigd of verworpen op basis van één observatie.

Het probleem met onderzoek doen is dat je vrijwel nooit toegang kan krijgen tot alle informatie die beschikbaar is. Daarom gaan we er vanuit dat onze bevindingen waar zijn, totdat het tegendeel bewezen is.

De denkfout

The Paradox of Confirmation gaat uit van inductie, een manier van redeneren waarbij op grond van een aantal observaties de bevinding als regel wordt aangenomen. In The Paradox of Confirmation wordt aangekaart dat iedere hypothese gelijk is aan de alternatieve hypothese. Zolang de hypothese en de alternatieve hypothese worden bewezen spreken we van de waarheid. Het voorbeeld van Raven’s Paradox stelt de hypothese: ‘Alle raven zijn zwart’. De alternatieve hypothese die hierbij hoort is: ‘Alle niet-raven zijn niet-zwart’. Bij het verzamelen van data wil je zoveel mogelijk observaties doen van raven en niet-raven.

Confirmation Bias

In principe zijn beide hypothesen waar, zolang alle raven die ik heb gezien, zwart zijn en alle niet-raven die ik heb gezien, niet-zwart zijn. Het probleem ontstaat op het moment dat iemand een witte raaf ziet. Verandert dan de hypothese of veranderen we de observatie?

“De kans op overleven is nu eenmaal groter als we dezelfde ideeën aanhouden als onze sociale omgeving”

Precies op dit punt bevindt zich het probleem van The Confirmation Bias: de neiging om te zoeken naar informatie die overeenkomt met onze verwachtingen en overtuigingen. Onbewust negeren we nieuwe informatie of verdraaien we de informatie, zodat het aansluit bij ons standpunt. Vanuit evolutionair perspectief doen we dit omdat we sociale wezens zijn. De kans op overleven is nu eenmaal groter als we dezelfde ideeën aanhouden als onze sociale omgeving (en geen risico lopen op sociale uitsluiting).

We kunnen voor onszelf beargumenteren dat de hypothese nog klopt, door de witte raaf weg te zetten als witte duif (nog los van het feit dat ik genoeg zwarte dingen heb die ook een niet-raaf zijn).

Maar goed, je begrijpt het probleem. Wij mensen zijn slecht in staat om informatie volledig objectief te bekijken, want door onze kennis en ervaring zijn we altijd gebiased.

Voor mijn werk is het heel belangrijk om hier bewust van te zijn. Als we bij een klant volop aan het leren zijn over bezoekersgedrag, moeten we onszelf behoeden voor The Paradox of Confirmation en The Confirmation Bias. Wees daarom altijd kritisch, daag jezelf uit en toets ook zoveel mogelijk de alternatieve hypotheses.

Dit zou een mooi einde zijn van mijn blog. Maar: validation in every organisation. The Confirmation Bias inspireerde mij om een experiment uit te voeren onder mijn collega’s.

Hoe ik mijn collega’s manipuleerde: het experiment

Men neme twintig collega’s, vijf A/B-testen, twee condities en een survey (en een snufje doorzettingsvermogen om alle collega’s mee te laten doen).

Deel 1: The Prediction Bias

De opdracht in dit onderzoek was vrij simpel: de vraag aan mijn collega’s was om te voorspellen welke variant in de A/B-test zou winnen. De survey heb ik gebruikt om vijf A/B-testen te tonen die we ook daadwerkelijk hebben uitgevoerd bij één van onze klanten. De vraag bij elk experiment was: ‘welke variant wint op conversie?’. Er waren telkens drie antwoordmogelijkheden: A, B, geen van beide.

Het verschil tussen de twee condities zat hem in de manier waarop de introductie geschreven was. In de controleconditie werd enkel verteld dat er vijf vragen zouden volgen, terwijl in de experimentele conditie eerst een korte achtergrond geschetst werd. Daarna heb ik bepaald welke antwoorden het meeste overeenkwamen met de informatie die de participanten zouden ontvangen via deze achtergrond (Confirmation Bias). De grote vraag is dus: werden mijn collega’s beïnvloed door de bijgevoegde achtergrondinformatie?

Deel 2: The Confirmation Bias

Het tweede deel van dit onderzoek kwam tot leven toen ik besefte dat het onderzoek nog niet compleet was. Deel 1 van het experiment toetst alleen of ik door middel van de achtergrondinformatie de voorspelling van mijn collega’s kan beïnvloeden.

Bij The Confirmation Bias wordt er echter verwacht dat men ofwel de hypothese aanpast (extern een verklaring zoeken) of de observatie in een ander hokje probeert te stoppen (dat was geen witte raaf, dat was een witte duif). Volgens de theorie zouden mijn collega’s dus – bij het zien van de echte uitkomsten – verklaringen gaan zoeken die in lijn liggen met de achtergrondinformatie (oftewel, hun eigen verwachtingen of overtuiging).

“We vinden het heel prettig om bevestigende informatie te ontvangen”

Gelukkig waren mijn collega’s ondertussen ontzettend nieuwsgierig naar de uitkomsten, dus de uitgelezen kans voor mij om mijn onderzoek voort te zetten. Ik deelde de groep op in een controlegroep en een experimentele groep, liep nogmaals de A/B testen uit de survey langs en stelde bij iedere test de vraag waarom zij dachten dat variant X gewonnen had of waarom er geen effect was. Met als excuus “laten we kijken of we samen de kwaliteit van onze A/B testen nog beter kunnen maken” werd de discussie gevoerd en de antwoorden per persoon en per test op post-its geschreven. Zo kon ik stiekem observeren of The Confirmation Bias terug te zien was in het gedrag van mijn collega’s.

De resultaten

De data-analyse van deel 1 ging vrij simpel. Ik heb gewoonweg geteld hoeveel antwoorden per conditie gelijk waren aan het voorspelde antwoord op basis van The Confirmation Bias. En wat bleek, de controlegroep verdeelde zich mooi random over de antwoorden. Uiteindelijk koos 38 procent (bij een verwachting van 33 procent) van de controlegroep voor het voorspelde antwoord. Dit percentage lag, naar verwachting, hoger bij de experimentele groep. In deze groep ging maar liefst 49 procent voor de antwoorden die in lijn lagen met de achtergrondinformatie.

Opvallend genoeg verschilde de post-its uit het tweede deel van het experiment tussen beide groepen nauwelijks. Dezelfde soort woorden werden gebruikt om te verklaren (lees: rationaliseren) waarom de A/B-test een bepaalde uitkomst zou hebben. Het verschil zit hem echter in de discussie. De controlegroep stelde een berg aan vragen over het gedrag en wilde eerst uitzoeken wat er nog meer aan de hand was. De experimentele groep daarentegen ging heel ergens anders zoeken naar antwoorden: “is subtiel aanbieden niet cultuurgebonden?” (de achtergrondinformatie gaf aan dat subtiele hulp conversieverhogend werkte) of “de verandering in het design is te klein”.

De experimentele groep ondervindt dat de echte uitkomsten niet overeenkomen met de verwachtingen. De reactie daarop is het zoeken naar een externe verklaring of het eigen design en experiment in twijfel trekken. Oftewel, het lijkt erop dat de experimentele groep niet wil geloven dat de uitkomsten niet passen bij de huidige bevindingen. De controlegroep, daarentegen, heeft minder houvast door de afwezigheid van de achtergrondinformatie en zoekt de verklaring binnen de beschikbare data van het experiment. Interessant!

Conclusie

Ik ben erg enthousiast over mijn experiment: het is gelukt om op kleine schaal aan te tonen hoe beïnvloedbaar we zijn. Ik moet er wel bij zeggen dat de onderzoeksgroep natuurlijk veel te klein is om betrouwbare uitspraken te kunnen doen, maar de verschillen in gedrag onder mijn collega’s geven mij genoeg reden om verder onderzoek te doen naar The Paradox of Confirmation.

Van mijn experiment heb ik drie dingen geleerd:

1. Allereerst, mijn collega’s hadden me door… Na het uitvoeren van mijn experiment werd er door een paar collega’s gezegd, “ik heb me lekker laten beïnvloeden door je”. Niet goed voor mijn experiment, maar wel mijn complimenten voor mijn collega’s.
2. Ten tweede, respondenten verzamelen is echt heel veel werk. (In mijn werk hou ik me bezig met online onderzoek doen en heb ik gelukkig toegang tot veel data en betrouwbare experimenten.)
3. De derde en belangrijkste les is dat The Confirmation Bias niet voor niets The Confirmation Bias heet. We vinden het heel prettig om bevestigende informatie te ontvangen. Iets te prettig zelfs, waardoor we ook in ons werk geneigd zijn alleen de resultaten te zien die we willen zien.

De enige methode om The Confirmation Bias tegen te gaan is om af en toe gewoon eens iemand mee te laten kijken die nog helemaal niks van het onderzoek weet. Dan kom je er snel genoeg achter of jij ook het slachtoffer bent geworden van je eigen Confirmation Bias.