Onderzoekers van het Human-Computer Interaction Institute van Carnegie Mellon University hebben EgoTouch ontwikkeld, een innovatieve AI-tool die de huid van de gebruiker transformeert tot een interface voor augmented reality (AR) en virtual reality (VR)-omgevingen. Deze technologie, beschreven in een recent wetenschappelijk artikel, maakt gebruik van een machine learning-model dat aanrakingen interpreteert door visuele signalen zoals schaduwen en huidvervormingen te analyseren. Dit wordt mogelijk gemaakt door standaardcamera’s in AR/VR-headsets.
EgoTouch is geïnspireerd op eerdere systemen zoals OmniTouch, die omvangrijke en gespecialiseerde apparatuur vereisten, zoals dieptecamera’s. Dankzij het gebruik van conventionele camera’s en machine learning-algoritmen is deze nieuwe technologie veel compacter. Volgens Vimal Mollyn, promovendus en projectleider onder begeleiding van professor Chris Harrison, identificeert het model huidaanrakingen met een nauwkeurigheid van meer dan 96%. Het onderscheidt acties zoals drukken, optillen en slepen en kan daarnaast de kracht van de aanraking – licht of stevig – met 98% nauwkeurigheid meten.
Data van diverse gebruikers
Het team verzamelde uitgebreide trainingsdata van 15 gebruikers met verschillende huidtinten en haardichtheden. Een op maat gemaakte aanraakgevoelige sensor, bevestigd aan de onderkant van de wijsvinger en handpalm, registreerde diverse aanraaktypen en krachten onder uiteenlopende lichtomstandigheden. Hierdoor kon de AI visuele kenmerken van aanrakingen koppelen aan specifieke acties zonder dat handmatige annotatie nodig was.
EgoTouch presteert consistent op verschillende huidtinten, haardichtheden en delen van de hand en arm, zoals de palm en de achterkant van de arm. Op benige gebieden zoals knokkels heeft het systeem echter moeite door onvoldoende huidvervorming, wat de detectie daar beperkt.
Toekomstige toepassingen en uitbreidingen
EgoTouch maakt het mogelijk om bekende touchscreen-gebaren, zoals scrollen, zoomen en swipen, op de huid te gebruiken. Daarnaast ondersteunt het functionaliteiten zoals een “rechtermuisklik” voor uitgebreidere bediening. Het onderzoeksteam werkt aan verbeteringen, zoals het integreren van nachtzichtcamera’s voor gebruik in slechte lichtomstandigheden en het aanpassen van de technologie voor niet-huidoppervlakken.
Mollyn benadrukt dat EgoTouch probleemloos werkt met bestaande camera’s in AR/VR-headsets en geen kalibratie vereist. Dit maakt de tool praktisch en toegankelijk voor ontwikkelaars en interfaceontwerpers. Deze vooruitgang brengt huid-gebaseerde interfaces een stap dichter bij brede implementatie in AR/VR-systemen.
Foto: Carnegie Mellon University
