Echte mannen testen in productie

Waarom we met zijn allen minder plannen moeten maken en meer moeten doen

Als je wel eens op een IT-afdeling aanwezig bent geweest, ken je het gevleugelde gezegde: “Echte mannen testen in productie”. Het is een uitspraak die komt uit de tijd dat ICT nog IT heette en er alleen maar mannen op die afdelingen werkten.

Vaak waren dat nerds met geblokte overhemden, gedateerde spijkerbroeken en dito kapsels. Maar ook mannen waar je een goeie borrel mee op de vrijdagmiddag kon drinken. Na twee bier kwamen de schuine moppen al op tafel. Echte mannen die IT’ers. De bouwvakkers van het kantoor.

‘Echte mannen testen in productie’ en tegenwoordig is het niet veel anders, of zou het niet anders moeten zijn. Want hoewel de ICT’ers die zin vaak schertsend riepen, zat daar wel een kern van waarheid in. Je kunt alleen echt zeker weten of iets goed werkt, als je het aanbiedt aan de markt. Geen enkel klantonderzoek, plan van aanpak of prototype geeft je de houvast dat iets een succes wordt. Ook al denken we vaak van wel.

Laten we ons eens richten op twee methoden die vaak gebruikt worden om nieuwe of verbeterde producten of diensten te testen: het klantonderzoek en het prototype.

1. Onderzoek: we trekken vaak verkeerde conclusies

In een nagebootste omgeving, zoals een usability lab, krijg je vaak nagebootste reacties van je panel.

Het gedrag van een respondent kan bijvoorbeeld beïnvloed worden door:

• de omgeving waarin hij de test doet: het statige hoofdkantoor waar je wordt getrakteerd op koffie met gebak voordat je het prototype test;
• de aanwezige opdrachtgever: “Ik zal maar zeggen dat ik het een prima product vind, anders is het zo zielig voor die producent”. Maar ook onbewust: “Vorige week heb ik een proefmonster gekregen, eigenlijk sta ik nog bij de producent in het krijt”;
• de vragensteller: “Wat een leuke vrouw, ik zorg ervoor dat het wel een gezellig gesprek blijft”. Of meer onbewust: “Ik help haar met het dragen van spullen, blijkbaar vind ik haar aardig”.
• en nog andere (veelal onbewuste) invloeden van de omgeving die in hoge mate het gedrag bepalen.

Het belangrijkste manco aan ‘labomgevingen’ is dat we veelal meten hoe mensen bewust over het eigen gedrag denken. Het ontstaan van gedrag is echter zeer complex en in de psychologische wetenschap wordt steeds meer bewijs gevonden voor het belang van de emotionele en intuïtieve processen in de hersenen die onbewust plaats vinden. Hedendaagse wetenschappers durven zelfs te stellen dat het onbewuste voor meer dan 90 procent van het gedrag bepaalt (Dijksterhuis, 2007). In de psychologie worden de intuïtieve emotionele hersenprocessen “systeem 1” genoemd en de rationele, bewuste processen “systeem 2”.

Door surveys wordt in de hersenen het zogenaamde ‘systeem 2’ aangeroepen. Mensen gaan nadenken over een (koop)beslissing en proberen die dan tijdens het onderzoek of achteraf te rationaliseren. Waarom was men tot bepaald gedrag overgegaan?

En dat terwijl de meeste van onze handelingen komen vanuit ‘systeem 1’, dat is pure emotie. 95 procent van de handelingen die we doen, doen we spontaan. Respondenten zeggen in onderzoek – waar men achteraf naar gedrag wordt gevraagd – dus andere dingen dan het gedrag dat men daadwerkelijk ooit had!

2. Het prototype: te weinig data, te lange doorlooptijd

Een ander aspect van zorg is ‘het prototype’. Vaak wordt er enorm veel aandacht besteed aan een stand alone nagebootste online omgeving. ICT heeft alleen daar al minimaal twee maanden op gebouwd. Daarna wordt er in een usabilitylab of online omgeving getest.

Vaak lopen drie tot zes mensen door het prototype, ondertussen hardop vertellend wat men denkt en doet (hierdoor wordt overigens onmiddellijk ‘systeem 2’ aangezet). De klantopmerkingen worden achteraf geprioriteerd door het projectteam (ook opvallend: in de onderzoeken die ik mocht meemaken, mocht de klant nooit mee prioriteren) en vervolgens worden de belangrijkste bevindingen aangepakt.

Zes klanten zijn dan verantwoordelijk voor de verdere ontwikkeling van de dienst. En alhoewel je met 6 personen best op hoofdlijnen een aantal verbeterpunten krijgt gereserveerd; toch is het beter de nieuwe ontwerpen uitgebreider te testen.

Vanuit de weinige data die we vanuit de respondenten hebben gekregen, wordt vervolgens de betreffende dienst door ICT gebouwd. Dat gaat natuurlijk via de OTAP-manier, waardoor het bouwen van een nieuwe dienst of nieuw product vaak ook nog minimaal een maand in beslag neemt. Voordat je het weet, ben je een half jaar kwijt voordat een nieuw product gelanceerd is, vaak kost dit overigens meer tijd. De concurrentie slaapt niet, straks ben je je concurrentievoordeel kwijt.

Hoe werkt het dan wel?

Een online onderzoek, een prototype of een usabilitylab is absoluut geen slechte zaak. Maar dat is het wel als dit de enige manier van onderzoek is. Je gaat dan ‘dure’ beslissingen nemen op basis van wankele beweringen van klanten die weliswaar van goede wil zijn maar jou niet wijs gaan maken wat hun daadwerkelijke gedrag was.

Zoals altijd is het de combinatie van middelen die het hem doet.

• Analyseer voordat je je diensten of producten gaat aanpassen hoe je huidige producten ervoor staan. Duik in je Google Analytics. Wat is de conversie? Waar haakt men af?
• Start een online survey. Wat vinden mensen van dienst? Wat vindt men goed aan de dienst? Wat vindt men slecht?
• Probeer, bijvoorbeeld kort nadat men een taak heeft volbracht op je website, de customer effort score eens uit te meten en dat voor een langere periode. Het geeft je houvast. Slaan je verbeteringen aan of ben je nog steeds niet aanbevelingswaardig?
• Ga de verbetersuggesties die je vindt in je data en terugkrijgt uit je onderzoek direct testen in de online omgeving. Zet dat prototype maar direct live ‘naast’ het origineel en leer hoe mensen daar in productie gebruik van maken. Zeker als de conversieratio op je huidige website tegenvalt, kan een nieuw prototype weinig schade toebrengen.
• Vaak kom je erachter dat mensen ook met het product of de dienst zelf problemen hebben. Zorg dan dat die aandachtspunten bij de verantwoordelijke afdeling terecht komen. Je kunt nog zo’n mooie ‘funnel’ maken, als je product niet ‘klopt’, verkoop je toch minder snel. En daar kan geen test of onderzoek iets aan doen.
• Soms kun je niet testen ( te weinig traffic of conversies bijvoorbeeld). Dan rest je niets anders dan de vernieuwingen door te voeren en je vernieuwingen goed door te meten. Maar ook hier weer: beter ga je de zaken snel verbeteren en meten dan ze in diverse meetings, plannen van aanpak en rapporten verdedigen. Zoals ik al eerder zei: de concurrentie slaapt niet.

De voordelen van bovenstaande werkwijze

• Je bent minder tijd kwijt met het bouwen van een kostbaar stand alone prototype
• Je test een prototype tegenover je huidige versie die online staat. Dit geeft een goed beeld van de verbeteringen die het prototype met zich meebrengt, maar ook van de zaken die in het nieuwe ontwerp minder presteren ten op zichte van het huidige ontwerp.
• Omdat je het live test, krijg je meteen veel meer data binnen. Je kunt daarna eventueel nog steeds een usabilitylab in, maar ten opzichte van de oude situatie heb je nu naast kwalitatieve data ook kwantitatieve data. Je hebt daardoor een beter beeld van je klantervaring. Je meet immers via je webdata meteen ‘systeem 1’ en dat is toch vaak ons bepalende systeem waarmee we de belangrijke beslissingen nemen.