Een toekomst van interactie: van klikken naar zwaaien

Tijdens de lancering van de iPad 2 stond Steve Jobs tijdens zijn presentatie letterlijk voor een kruispunt. Op het grote doek achter hem werd een wegwijzer met een tweetal richtingen geprojecteerd, die van technologie en die van kunst. Jobs zei hierover het volgende: “It’s in Apple’s DNA that technology alone is not enough — it’s technology married with liberal arts, married with the humanities, that yields us the result that makes our heart sing and nowhere is that more true than in these post-PC devices.”

Ik heb deze blogpost geschreven in samenwerking met mijn collega Thomas van Manen.

Met deze uitspraak bedoelde Jobs dat technologie de mens niet in de weg moet zitten, maar aan moet sluiten op de natuurlijke interface van de mens. Het menselijk lichaam is de volgende computerinterface. Het toetsenbord heeft een armlengte afstand van ons lichaam, de smartphone kwam al dichterbij via de broekzak of de handtas. Met de nieuwste wearable devices gaan we informatietechnologie zelfs op ons lichaam dragen. Zo dichtbij, dat het de menselijke zintuigen gaat versterken, vervangen of zelfs compleet nieuwe zintuigen gaat toevoegen.

Direct na de dood van Steve Jobs wilde een journalist van het Algemeen Dagblad van mij weten wat Jobs’ grootste bijdrage aan de mensheid was. Dat is dus overduidelijk. Jobs heeft drie voor de hand liggende vingerbewegingen gepopulariseerd. Bladeren met je duim door toepassingen heen, op het scherm tikken voor een vergrotings-stap en het traploos vergroten van beeld met duim en wijsvinger. Over honderd jaar zullen de iPods, de iPhones en iPads alleen nog maar in musea bestaan, maar zullen we nog steeds deze vingerbewegingen maken. Ook hier geldt dat technologie naar de achtergrond verdwenen is. Technologie wordt onzichtbaar. Technologie wordt intuïtief. Ineens gaan we op heel andere manieren met informatie om. Met de smartphone of tablet in de hand staan we continu zintuiglijk in contact met onze digitale realiteit. Die is niet van echt te onderscheiden en hoort er bovendien gewoon bij.

Gesture control is the future of computing

Een paar weken terug werd een aantal produkten bekendgemaakt die het mogelijk maken om informatie te manipuleren op een andere manier dan we gewend zijn. De Leap Motion Controller is een klein aluminium doosje met een zwarte bovenkant dat draadloos aan de PC gekoppeld wordt. Het is gelanceerd via het funding-platform van Kickstarter. Het apparaatje kost slechts 79,99 dollar. Maar voor dit geld krijg je een stukje magie in handen.

Door met je handen boven het apparaat te zwaaien of slechts je vingers te bewegen, ben je in staat om informatie op het beeldscherm te controleren. Het menselijk lichaam als joystick. In- en uitzoomen, het swipen naar een volgend beeld of volgende applicatie, maar ook tekenen met je vingers of simpelweg iets aanklikken, zijn allemaal bewegingen die het apparaat ondersteunt. Op dit moment zijn er nog weinig applicaties die om kunnen gaan met deze nieuwe manier van informatie aansturen, maar achter de schermen wordt hard gewerkt. Inmiddels heeft Leap Motion een eigen appstore geopend, genaamd Airspace, waarin al verschillende applicaties zijn te downloaden, zoals bijvoorbeeld Autodesk en Coral Painter.

Your next computer will live on your arm

In plaats van het monitoren van de zwaaibewegingen van armen, handen en vingers, biedt ook de MYO-armband een elegante oplossing. De armband zit vlak boven de elleboog en meet de spanningsverschillen in de spieren. Iedere spierstand wordt gemeten en doorgegeven.

Met de armband wordt het mogelijk om waanzinnige toepassingen te ontwikkelen. In onderstaand filmpje zie je bijvoorbeeld hoe iemand een AR Drone 2.0 aanstuurt tot het maken van een glijvlucht door simpelweg zijn hand te bewegen. Of een skiër die zijn salto deelt met zijn vrienden door zijn GoPro-camera aan te sturen met een simpele handbeweging.

The next generation 3D mouse

Nick Mastandrea zag op zijn vlucht een man pielen met een laptop op zijn schoot, terwijl hij ook nog eens op de armleuning van zijn stoel een muis probeerde aan te sturen. De beste man was compleet gefrustreerd, de technologie leende zich hier niet voor. Mastandrea bedacht zich hoe cool het zou zijn wanneer je je computer kon aansturen middels een muis die op de vinger zat gemonteerd.

De Mycestro, de 3D draagbase muis, ontsproot op dat moment aan Nick zijn brein. Het ienieminie apparaatje moet om de wijsvinger gedragen worden. Het maakt gebruik van sensoren en algoritmen om vingerbewegingen te interpreteren. Ook zit er aan de kant van de duim een kleine touchpad. Deze moet aangeraakt worden om de muis te activeren. Vervolgens kunnen er allerlei bewegingen in de ruimte worden uitgevoerd waarop de software reageert. Het is zelfs mogelijk om koffie te drinken, zonder dat de muis overstuur raakt.

SpaceTop

Jinha Lee is de ontwerper van SpaceTop. Het is een drie-dimensionale computerinterface die het mogelijk maakt dat een gebruiker als het ware met zijn handen door het computerbeeld heen kan gaan om vervolgens iets te pakken wat zich achter het scherm bevindt. Zo wordt het mogelijk dat de gebruiker webpagina’s, documenten en video’s vasthoudt, net zoals we objecten in de echte wereld vastpaken.

Op TED 2013 in Long Beach demonstreerde Lee voor het eerst zijn 3D-desktop. In zijn Keynote vertelde hij dat zijn computer interface de fysieke en de digitale wereld dichter bij elkaar brengt. “With our two hands we’re reaching into the digital world.”

Conclusie

Wanneer we nadenken over de toekomst van interfaces, dan projecteren we dit vrijwel automatisch op het toekomstbeeld dat ons is voorgehouden in de science-fiction film Minority Report van regisseur Steven Spielberg. In de film zien we hoe hoofdrolspeler Tom Cruise met simpele handbewegingen informatie manipuleert en van het ene scherm naar het andere scherm sleept. Om zijn hand draagt hij een info-handschoen die zijn bewegingen registreert.

De Leap Motion, de MYO, de Mycestro en de Spacetop sluiten nagenoeg naadloos aan op de interface-interactie die we kennen uit Minority Report. Het is een paradigma dat is opgelegd door Hollywood. Alhoewel deze interface er prachtig gelikt uitziet, sluit ze volgens interaction designer Christian Brown niet of nauwelijks aan op de natuurlijke interface van de mens:

“There are better ways to handle spatial ideas, ways which are more in line with the way our bodies are built. Human hands and fingers are good at feeling texture and detail, and good at gripping things—neither of which touch interfaces take advantage of. The real future of interfaces will take advantage of our natural abilities to tell the difference between textures, to use our hands to do things without looking at them—they’ll involve haptic feedback and interfaces that don’t even exist, so your phone shows you information you might want without you even needing to unlock and interact with it. But these ideas are elegant, understated, and impossible to understand when shown on camera.”

De mening van Brown sluit direct aan op de visie van IBM ten aanzien van Cognitive Computing. In de komende vijf jaar worden volgens de IT-mastodont computers ontwikkeld die de menselijke zintuigen feilloos kopiëren, overtreffen en versterken. Google heeft een soortgelijke visie. Google noemt het echter Augmented Humanity.

Technologie moet zich gaan gedragen als onderdeel van het menselijk organisme. Geen nieuwe gebaren opleggen omdat ze er zo cool uitzien. Het is dus niet waarschijnlijk dat we straks thuis of op het werk, à la Tom Cruise, staan te zwaaien alsof we een orkest aan het dirigeren zijn. Uiteindelijk wint functionaliteit het van visuele aantrekkelijkheid. Maar met tools als de Leap Motion, de MYO, de Mycestro en de Spacetop kan het helemaal geen kwaad om voorlopig nog even Tom Cruise te spelen.