Nositeľný sonar sleduje výrazy tváre pomocou zvuku namiesto kamier
- Autor:
- Roman Mališka
- Zverejnené:
- 20. 7. 2022
- Hodnotenie:
- Už ste hlasovali.
Inžinieri z Cornellovej univerzity vyvinuli nové nositeľné zariadenie, ktoré dokáže monitorovať výraz tváre človeka pomocou sonaru a vytvoriť ho na digitálnom avatarovi. Odstránenie kamier z rovnice by mohlo pritom zmierniť obavy o súkromie.
EarIO, ako sa zariadenie nazýva, sa skladá zo slúchadla s mikrofónom a reproduktorom na každej strane a dá sa pripojiť k akýmkoľvek bežným slúchadlám. Každý reproduktor vysiela zvukové impulzy mimo rozsahu ľudského sluchu smerom k tvári používateľa a ozvenu zachytávajú mikrofóny.
Profily ozveny sa mierne menia podľa toho, ako sa pokožka používateľa pohybuje, naťahuje a vráskaví pri rôznych výrazoch tváre alebo pri rozprávaní. Špeciálne vyškolené algoritmy umlej inteligencie dokážu rozpoznať tieto profily ozveny a rýchlo zrekonštruovať výraz tváre používateľa a zobraziť ho na digitálnom avatarovi.
„Vďaka sile umelej inteligencie algoritmus nájde komplexné súvislosti medzi pohybom svalov a výrazom tváre, ktoré ľudské oči nedokážu identifikovať,“ uviedol Ke Li, spoluautor štúdie. „Môžeme to využiť na odvodenie komplexných informácií, ktoré je ťažšie zachytiť – na celú prednú časť tváre“.
Tím testoval systém EarIO na 16-tich účastníkoch, pričom algoritmus spustil na bežnom smartfóne. A skutočne, zariadenie dokázalo rekonštruovať výrazy tváre približne rovnako dobre ako bežná kamera. Hluk na pozadí, ako je vietor, hovor alebo hluk z ulice, nenarušoval schopnosť systému registrovať tváre.
Podľa tímu má sonar oproti kamere niekoľko výhod. Akustické údaje vyžadujú oveľa menej energie a spracovateľského výkonu, čo tiež znamená, že zariadenie môže byť menšie a ľahšie. Kamery môžu zachytiť aj veľké množstvo ďalších osobných údajov, ktoré používateľ nemusí mať v úmysle zdieľať, takže sonar by mohol byť v tomto smere súkromnejší.
Pokiaľ ide o to, na čo by ste mohli túto technológiu využiť, mohol by to byť užitočný spôsob, ako replikovať vašu fyzickú mimiku na digitálnom avatarovi pre hry, VR alebo metaverse.
Tím hovorí, že bude potrebné ešte vykonať ďalšiu prácu na vyladení iných rušivých vplyvov, napríklad keď používateľ otočí hlavu, a zefektívniť systém tréningu pre algoritmus umelej inteligencie. Výskum bol uverejnený v magazíne Proceedings of the Association for Computing Machinery on Interactive, Mobile, Wearable and Ubiquitous Technologies.
