EgoTouch vloží používateľom VR do dlane dotykové rozhrania
- Autor:
- Roman Mališka
- Zverejnené:
- 19. 11. 2024
- Hodnotenie:
- Už ste hlasovali.
V reálnom svete by ste nechceli neustále nosiť vreckový ovládač alebo mať pred tvárou neustále vyskakujúce ponuky. Tak prečo sa s tým zmierovať vo svete virtuálnej reality (VR)? S novou technológiou EgoTouch to robiť nemusíte, pretože vám rozhranie umiestni na vašu dlaň.
Systém EgoTouch, ktorý je v súčasnosti vo forme prototypu, vyvíja doktorand Vimal Mollyn a jeho kolegovia z Inštitútu interakcie človeka s počítačom na Univerzite Carnegie Mellon. Vracia sa ku koncepcii umiestnenia hmatových rozhraní podobných dotykovej obrazovke na virtuálne telá používateľov VR.
Predchádzajúce štúdie ukázali, že takéto rozhrania majú výrazné výhody z hľadiska rýchlosti, presnosti a ergonómie oproti bežne používaným rozhraniam „vo vzduchu“, ktoré sú prekryté pohľadom používateľa na svet VR. Jeden z problémov existujúcich rozhraní na tele však spočíva v tom, že zvyčajne vyžadujú použitie špeciálnych kamier na snímanie hĺbky priestoru. Tieto kamery sa používajú na sledovanie polohy reálnej časti tela, na ktorej sa zobrazuje rozhranie vo svete VR, spolu s polohou reálneho prsta, ktorý vykonáva výber na tomto rozhraní.
Naproti tomu technológia EgoTouch jednoducho využíva existujúcu RGB optickú kameru náhlavnej súpravy VR. Keď používateľ stlačí prst v reálnom svete do svojej dlane v reálnom svete, kamera zachytí výsledné tiene a deformácie pokožky. Mapovaním umiestnenia týchto vizuálnych indikátorov na virtuálne rozhranie zobrazené na dlani je možné určiť, ktoré možnosti sa vo svete VR vyberajú.
Na trénovanie algoritmu umelej inteligencie nechal Mollynov tím skupinu dobrovoľníkov stlačiť ukazovák na rôzne miesta na dlani, pričom mali na hlave nasadenú RGB kameru. Po spodnej strane ich prsta prebiehal dotykový senzor, ktorý kamera nemohla vidieť.
Porovnaním údajov z kamery s údajmi zo senzora sa algoritmus naučil, ktoré vizuálne prvky sa zhodujú s jednotlivými miestami, intenzitou a trvaním dotyku. Navyše dobrovoľníci mali rôzny odtieň pokožky a hustotu chĺpkov a údaje zaznamenávali za rôznych svetelných podmienok.
Pri testovaní sa ukázalo, že systém EgoTouch dokáže na 96 % presne rozpoznať dotyk na dlani, pričom miera falošne pozitívnych výsledkov bola približne 5 %. Takisto s 98 % presnosťou určil, či bol dotyk mäkký alebo tvrdý, a dokázal rozpoznať dotykové akcie, ako je stlačenie, zdvihnutie a ťahanie.
„Prvýkrát máme systém, ktorý využíva len kameru, ktorá je už vo všetkých náhlavných súpravách. Naše modely sú bez kalibrácie a fungujú hneď po vybalení z krabice,“ hovorí Mollyn. „Teraz môžeme nadviazať na predchádzajúcu prácu na rozhraniach na koži a skutočne ich realizovať.“
Príspevok o tomto výskume bol nedávno uverejnený v Zborníku 37. výročného sympózia ACM o softvéri a technológii používateľského rozhrania.
