‘Wisdom of crowds’: hoezo is de toekomst niet te voorspellen?

De dagvoorzitter schrok. Na twee dagen witte Powerpoints vol bullets begon ik mijn presentatie met een raketlancering. Waarom? Dat had een hele goede reden gezien het onderwerp van mijn presentatie: ‘The wisdom of crowds‘. Oftewel: het principe dat de groep intelligenter is dan het meest intelligente groepslid (ja, ik leg het hieronder uit). En de lancering was die van ruimtevaartschip Challenger in 1986. Op 28 januari om 11:36 uur om precies te zijn. Dat tijdstip is belangrijk, want na 73 seconden ontplofte de raket. En toen begon er iets bijzonders op de aandelenbeurs.

Gevaarlijke voorkennis

De ontploffing van de Challenger was wereldnieuws – de ‘oudjes’ die dit lezen, zullen het zich nog goed weten te herinneren. Om 11:38 uur lokale tijd om precies te zijn. De beurzen reageerden ook: de aandelen van de vier leveranciers van het ontplofte gedeelte werden massaal gedumpt. Om 12:07 uur waren 3 van de 4 fondsen al met 5 procent in waarde gedaald, maar de aandelen Morton Thiokol mochten vanaf dat tijdstip niet langer verhandeld worden.

Aan het eind van de dag bleken deze aandelen veel meer in waarde te zijn gedaald dan die van de andere drie. En wat was de conclusie van een commissie zes maanden later? Het defecte onderdeel was geleverd door Morton Thiokol. Een analyse waar de ‘crowd‘ op de beursvloer blijkbaar maar 21 minuten voor nodig had.

Voer voor economen natuurlijk. En ook die trokken een conclusie na maandenlange analyse: vermoedelijk – men kon het niet met zekerheid vaststellen – zijn er mensen met ‘voorkennis’ geweest die direct begonnen met het dumpen van aandelen en de ‘crowd’ zag dit opvallende gedrag en begon het te volgen. Een mooi, maar helaas cru voorbeeld van de kracht van de ‘wisdom of crowds’. Zo zijn er vele en ik word er telkens weer enthousiast van als ik erover mag presenteren.

Maar hoe kan een groep nou intelligenter zijn dan het meest intelligente groepslid?

Obama wint de verkiezingen

Het idee van de ‘wisdom of crowds’ is eenvoudig: zelfs het meest deskundige groepslid bezit niet alle kennis van alle minder deskundige groepsleden, er is altijd wel iets wat een ander groepslid als enige weet. En met crowdsourcingtechnieken kun je die kennis aftappen en gebruiken om de toekomst te voorspellen. Iets wat de University of Iowa bij elke Amerikaanse presidentsverkiezing doet, door mensen onderling in dollars te laten handelen in de voorspelling wie de verkiezingen wint.

Bij de start van deze ‘markt’ begint een aandeel (zoals ‘Obama wint’) met de waarde van een halve dollar en iedereen die aan het eind van de markt (de verkiezing) een winnend aandeel bezit, krijgt daarvoor een hele dollar. Maar wat bij de laatste verkiezing het meest interessant was, was de ontwikkeling van de koers en de uiteindelijke waarde op de dag van de verkiezing (een waarde van 0,64 dollar betekent 64 procent van de stemmen). Wat telkens bleek, is dat de voorspelling op basis van deze ‘markt’ beter was dan die van alle polls die werden gedaan, zelfs beter dan die van de ‘exit poll‘ op de dag van de verkiezing (bij de achterdeur van de stembureaus).

Daar waren een paar verklaringen voor:

• Het handelen gebeurt anoniem, waardoor sociale wenselijkheid (“Natuurlijk heb ik niet op Wilders gestemd!”) geen rol speelt.
• Het handelen gebeurt continu, mensen kunnen elk moment van de dag aandelen kopen of verkopen.
• Mensen kunnen gewicht meegeven aan hun voorspelling: als ze erg zeker zijn van hun voorspelling kunnen ze besluiten méér aandelen in te zetten.
• Het gaat om echt geld (de universiteit heeft daar een speciale ontheffing voor gekregen), wat een goede stimulans is om een zo goed mogelijke voorspelling te doen.

Foute politiek

Als professor aan de George Manson Universiteit was Robin Hanson al jaren aan het experimenteren met ‘idea futures‘, oftewel het handelen in ideeën zoals op een aandelenbeurs. Toen had Robin samen met het Pentagon besloten om iets nieuws op te gaan zetten: een ’terrorisme-beurs’. Het idee was cru, maar interessant: laat mensen onderling en voor geld handelen in de kans op een terroristische aanslag op een bepaald object.

Zodra de koersen van een bepaalde aanslag-voorspelling sterk gaan stijgen, kan deze voorkomen worden natuurlijk. Maar helaas: de politiek vond het idee te ‘fout’ en trok de stekker uit het project. Het voorstel was te controversieel en men wilde natuurlijk voorkomen dat terroristen er een verdienmodel van gingen maken. Robin heeft mij ook geholpen bij het opzetten van een experiment bij MCB: een experiment in het voorspellen van prijzen.

Het is 2004 en na het lezen van een artikel in de Harvard Business Review besloot ook ik te gaan experimenteren met crowdsourcing. Ondanks de niet-perfecte opzet (elke vrijdag zo’n 30 collega’s een voorspelling laten doen over de Europese staalprijs 3 maanden later) blijkt na enkele maanden dat onze ‘groepsvoorspellingen’ toch beter zijn dan de voorspellingen van de analisten van bureau CRU, dat voor deze voorspellingen betaald wordt.

In de eerste grafiek zie je dat onze voorspelfout aanvankelijk nog groter is, maar dat we na verloop van tijd de kloof dichten en uiteindelijk de ‘experts’ inhalen. Omdat ik toch twijfelde over de opzet, nam ik contact op met professor Hanson en vroeg hem om advies. Eigenlijk wist ik al wat ik kreeg te horen: geen onderzoek doen op vrijdag, maar een ‘idea market‘ opzetten waarop mensen (niet alleen collega’s) continu kunnen handelen in aandelen ‘prijs stijgt’ of ‘prijs daalt’. En dus liet ik de website www.groepsintelligentie.nl bouwen om dit op de juiste manier te doen (linken heeft geen zin, want de website werkt niet meer).

Ook uit het experiment dat we daarna met deze website uitvoerden met betrekking tot de toekomstige aluminiumprijs, bleek dat we de prijs van 3 maanden later vrij dicht wisten te naderen met onze voorspelling. Maar ook hier leerde ik iets nieuws: het concept achter de ‘idea market’ is te ingewikkeld om uit te leggen aan leken met toelichtigen als “Je kunt een aandeel ‘prijs stijgt’ aan de markt verkopen voor de marktprijs of lager, of van de markt kopen voor de marktprijs of hoger”.

De complexiteit van ‘idea markets’ was een enorme rem op de animo van deelnemers en in het derde experiment kwam ik daarom met een soort compromis tussen theorie en praktijk: het continu-onderzoek-met-gewicht.

“Dat groepsintelligentie is een enorme kans, Edwin, daar moeten we weer verder mee.” Eindelijk een manager die de kansen zag en dus gingen we voor een nieuwe opzet: de prijs van 3 soorten metaal over 3 maanden voorspellen, door collega’s 24/7 de kans te geven een voorspelling in te voeren, inclusief een gewicht: “Hoe zeker ben je van deze voorspelling?”.

In bijgaande grafiek is te zien dat na een aanloopperiode – waarin we met name voor de aluminiumprijs moesten wennen aan het voorspellen – de voorspellingen over 3 maanden redelijk dicht tegen de werkelijke prijzen lagen. Prachtig is dat, als je de kennis van een groep af kunt tappen om – in dit geval – een toekomstvoorspelling te doen. Voor de liefhebbers: over het concept ‘wisdom of crowds’ is door journalist James Surowiecki een erg goed boek geschreven met dezelfde titel, eveneens vol voorbeelden.

De vele voorbeelden van de kracht van groepsintelligentie blijven mij intrigeren. Bedrijven zetten voor het delen van de kennis in een groep nog steeds vergaderingen in, de domst mogelijke methode. Jammer, aangezien alle pogingen om de slimste methode te gebruiken lijken te verzanden in pilots. Ik ben benieuwd of ik het nog mee ga maken dat de mensheid deze kracht omarmt, ik zou graag mijn steentje bij willen dragen. Zodat ik nog vele dagvoorzitters mag laten schrikken.