Don’t make me think aloud!
Momenteel worden nog veel usabilitytests uitgevoerd met behulp van het zogenaamde Think Aloud protocol of ook wel ‘hardop denken’ genoemd. In dit protocol is het de bedoeling dat een testdeelnemer tijdens het uitvoeren van een taak vertelt waarom hij/zij op bepaalde links, menu-items, banners en wat dies meer zij klikken. Welke associaties ze daarbij maken enzovoort. Belangrijk hierbij is dat de motieven van keuzes die gebruikers maken aan het licht komen zodat de website beter bij de behoefte van de gebruiker gaat aansluiten. Dit lijkt een goede manier om een usabilitytest uit te voeren.
Echter, het veelgebruikte Think Aloud protocol blijkt sterk onder druk te staan om meerdere redenen:
1. het is onnatuurlijk, niemand praat namelijk achter zijn beeldscherm over hetgeen wat hij/zij bekijkt
2. gebruikers voelen zicht niet zeker over datgene wat zij vertellen waarom de website niet goed functioneert
3. gebruikers voelen een bepaalde druk wanneer zij worden geobserveerd waardoor zij zich anders gedragen
4. gebruikers zijn niet bekend met ‘hardop’ denken
5. gebruikers die ‘hardop’ denken beïnvloeden daarmee de normale werkwijze om een taak succesvol af te ronden en doen daar ook langer over
6. gebruikers vinden het vaak niet fijn om ‘hardop’ te denken
Retrospective Think Aloud en Eyetracking
Om bovengenoemde redenen (nadelen) het hoofd te kunnen bieden, is onlangs het Retrospective Think Aloud protocol in combinatie met Eyetracking geïntroduceerd. Het bedrijf Bunnyfoot maakt hier al succesvol gebruik van. Hierbij worden testdeelnemers tijdens een usabilitytest met rust gelaten om hun taak op een website uit te voeren. Omdat zowel hun kijk- en klikgedrag in kaart wordt gebracht, kunnen we de testdeelnemer na de test ‘confronteren’ met het gebruik van de website. Door het tonen van de kijkmomenten en de kliks aan de testdeelnemer, kunnen de highlights met de testdeelnemer worden besproken. De testdeelnemer is zeer goed in staat om dit van commentaar te voorzien. Uit diverse onderzoeken, waaronder die van de Universiteit van Lancaster (PEEP) en de Universiteit van Tampere (pagina 88), blijkt dat deze methode significant meer usability problemen aan het licht brengt dan een ‘gewone’ usabilitytest waarbij het Think Aloud protocol wordt gehanteerd. De eigenaar van de site krijgt met de nieuwe methode nog beter inzicht waar de verbeterpunten liggen. Onderstaand zien we een afbeelding van de kijkmomenten op de site van Neckermann. De blauwe stippen zijn de kijkmomenten. Hoe groter de stip, des te langer heeft men naar een bepaald item gekeken. Een rood kruisje is een muisklik (activering). In deze test (geen echte) is de persoon gevraagd te zoeken naar een SD card. De vraag na de test zou bijvoorbeeld kunnen luiden: je hebt intensief naar het linker navigatiemenu gekeken, wat is de reden dat je uiteindelijk op het bovenste menu-item hebt geklikt? Op deze wijze wordt retrospective think aloud toegepast. Noot: uiteindelijk is de SD card na bijna 5 minuten gevonden. Eigenlijk zouden jullie de eyetracking video ook even moet zien 😉
Wij zullen de retrospective think aloud methode in combinatie met eyetracking in ieder geval ook gaan toepassen, omdat wij hier de grote meerwaarde inmiddels van inzien.
What about user experience! Al meer dan 10 jaar ben ik werkzaam in de online scene. Ik analyseer door zowel kwalitatieve als kwantitatieve technieken in te zetten, wat gebruikers nodig hebben, hoe zij zich gedragen op internet en welke drijfveren zij hebben. Met deze verkregen inzichten help ik bedrijven en organisaties hun klanten en relaties te begrijpen en te kijken welke kansen zij hebben om de user experience te verbeteren en te innoveren. Specialiteiten ● UX Research : (remote) usability testen, eyetracking, groepsdiscussies, face-to-face interviews, enquêtes, AB en Multivariate testen, card sorting, tree testen, taakanalyse, Google Analytics ● UX Design : customer journey mapping, user flows, user scenario’s, persona’s, navigatie -en contentstructuur , informatie architectuur, wireframing Alles voor zowel desktop, mobiel, tablet en apps. U kunt mij altijd benaderen voor interim dienstverbanden of freelance opdrachten.
Maar voor kleinere bedrijven is het soms best mogelijk mensen te laten testen, maar om eyetracking-hardware te betalen… Vergeet het kostenplaatje niet!
Interessant deze methode, denk dat het nuttige kan zijn. Ik heb echter niet zulke “slechte” ervaringen met hardop denken, krijg zelden de indruk dat mensen zich onnatuurlijk gedragen. Net als bij alle vormen van gebruikersonderzoek heeft ook het hardop denken nogal een laboratorium effect; er is een invloed van de omgeving. Dat heeft eyetracking natuurlijk ook, en achteraf verklaringen zoeken voor je eigen gedrag net zo goed.
Ik ben wel benieuwd naar onderzoeken met retro think aloud als vervanging voor direct think aloud (om het maar even zo te noemen).
Wel tricky om eyetracking te koppelen aan het retrospective stuk, want dat zijn twee enorme veranderingen in je proces. Je lijkt in dit artikel twee dingen met elkaar te vergelijken:
– Gewoon gebruikersonderzoek met hardop denken zonder eyetracking
– Gebruikersonderzoek ZONDER hardop denken MET analyseren achteraf EN eyetracking.
Kun je op basis van je ervaring of extern materiaal iets meer vertellen over dit dubbele verschil en wat we ervan moeten denken? Het is natuurlijk logischer om de methoden per variabele te scheiden, ipv in een keer de hele boel om te gooien en te concluderen dat “deze methode significant meer usability problemen aan het licht brengt” 🙂
@Ruben
Het lijk me goed om de aangehaalde onderzoeken in het artikel eens door te nemen.
Ik merk in de praktijk dat de meeste testdeelnemers, ondanks dat ik het vraag, niet of nauwelijks ‘hardop’ denken. Ik laat ze gewoon een opdracht uitvoeren zoals ze dat thuis ook zouden doen (online bestellen o.i.d). Achteraf ‘confronteer’ ik ze met de site zonder de kijkmomenten in beeld te brengen. We lopen dan talloze zaken door die van invloed zijn geweest op het welslagen van de opdracht. In het artikel noemde ik dat we het nu ook gaan toepassen omdat ik mij goed kan vinden in de genoemde knelpunten met de gewone testmethode. Ook kan ik met het, samen met de testdeelnemer, terugkijken van de kijkmomenten beter inzicht krijgen waarom bepaalde keuzes zijn gemaakt. Het zal dan met name gaan om de kijkmomenten die minimaal 400 ms zijn omdat dan de informatieverwerking plaats gaat vinden en mensen zich dat kunnen herinneren.
Bovendien is het zo dat het ‘hardop’denken bij eyetracking testen van grote invloed is op het kijkgedrag. In mijn beleving is dit niet natuurlijk.
Gerelateerde artikelen
Marketingfacts. Elke dag vers. Mis niks!
Marketingfacts. Elke dag vers. Mis niks!