Augmented reality app vertaalt realtime via iPhone camera

Er is een nieuwe iPhone applicatie in de App Store gepubliceerd waarmee met de camera tekst die in beeld is automatisch wordt vertaald. De vertaalde tekst wordt als augmented reality terug geprojecteerd op het camerabeeld. De applicatie, genaamd Word Lens, kan door middel van de camera van een iPhone of iPod touch tekst herkennen van bijvoorbeeld borden of menu’s. De applicatie lijkt bij starten op een doorsnee camera applicatie. Op het scherm is te zien wat de camera films.

Echter, zodra er tekst in beeld verschijnt, herkent de applicatie deze via OCR, en wordt deze vertaald. Vervolgens wordt de originele tekst uit het beeld ‘weggefilterd’ en wordt vervangen door de vertaalde tekst. Middels deze augmented-reality-methode hoeven gebruikers dus alleen hun telefoon om tekst te richten om de vertaling te kunnen zien. Bekijk onderstaande video om de applicatie in werking te zien.

Volgens software ontwikkelaar Quest Visual is de applicatie binnen twee jaar ontwikkeld. Momenteel is het alleen mogelijk om van Engels naar Spaans en vice versa te vertalen. Daarnaast wordt tekst woord per woord vertaald, en wordt er dus geen rekening gehouden met de context. Handgeschreven of cursieve lettertypes herkent de applicatie daarnaast nog nauwelijks.

De applicatie zelf is gratis, maar de taalpakketten kosten €3,99 per stuk. Voor de applicatie is een camera met auto-focus vereist, daarom worden alleen de iPhone 4, iPhone 3GS en iPod touch met videocamera ondersteund. Daarnaast dient minimaal iOS 4 geïnstalleerd te zijn.