Nový cloudový herný systém udrží video a zvuk synchronizované
- Autor:
- Roman Mališka
- Zverejnené:
- 7. 9. 2023
- Hodnotenie:
- Už ste hlasovali.
Výskumníci vyvinuli nový cloudový herný systém, ktorý využíva nízkoúrovňový biely šum na presnú synchronizáciu oddelených audio a video streamov. Jedinečný prístup umožňuje hráčom vidieť a počuť veci v správnom čase, dokonca aj pri nízkej kvalite mikrofónu alebo v prítomnosti hluku v pozadí.
V typickom nastavení cloudových hier server prijíma herné vstupy a streamy audio chatov z herného príslušenstva, ako sú ovládače a náhlavné súpravy. V reakcii na to súčasne generuje dva samostatné mediálne toky pre prehrávač. Prvým je tok hernej obrazovky, ktorý obsahuje herný zvuk a video určené pre zariadenie s obrazovkou, ako je televízor alebo tablet. Druhým je stream herného príslušenstva určený pre ovládače a herné zvukové náhlavné súpravy, ktorý obsahuje herný zvuk zmiešaný s chatom od ostatných hráčov a haptickú spätnú väzbu, ako sú vibrácie ovládača.
Tieto dva toky sa zvyčajne prenášajú cez samostatné siete, čo môže viesť k nedostatočnej synchronizácii, čiže oneskoreniu medzi jednotlivými tokmi. To má za následok oneskorenie videa, pomalú haptickú odozvu a zlý herný zážitok. Výskumníci z MIT sa spojili s Microsoft Research, aby vyvinuli technológiu Ekho, systém, ktorý využíva jedinečnú techniku na riešenie oneskorenia medzi jednotlivými tokmi. Na konferencii ACM Special Interest Group on Data Communication (SIGCOMM) 2023 na Kolumbijskej univerzite v New Yorku od 10. do 14. septembra výskumníci predložia príspevok popisujúci svoj systém.
Tím začal tým, že sa pozrel na problém v srdci oneskorenia medzi tokmi, čiže synchronizáciu hodín.
„Ak by sa ovládač a obrazovka mohli pozerať na hodinky a zároveň vidieť to isté, potom by sme mohli všetko synchronizovať s hodinami,“ povedal Pouya Hamadanian, hlavný autor článku. „Ale veľa teoretickej práce o synchronizácii hodín ukazuje, že existujú určité hranice, ktoré nikdy nemôžete prekonať“.
Bežnou metódou riešenia problémov so synchronizáciou hodín je posielanie správ ping-pong, kde zariadenie odošle správu ping na server, ktorý odpovie pong. Čas potrebný na spiatočnú cestu správy sa používa na výpočet latencie siete. Táto metóda však môže byť nespoľahlivá, pretože doručenie správy na server môže trvať dlhšie ako spätná správa. Vedci tvrdia, že ľudia môžu vnímať oneskorenie medzi tokmi, keď dosiahne 10 ms.
„Takže ak sa niečo stane na obrazovke, chceme, aby sa to stalo do 10 milisekúnd aj na ovládači,“ povedal Hamadanian.
Na zlepšenie synchronizácie navrhli systém Ekho tak, aby pridal „pseudošum“, pre ľudí nepočuteľný biely šum s nízkou hlasitosťou, do zvuku hry pred jeho streamovaním na obrazovku hráča. Modul Ekho-Estimator pridáva identické sekvencie pseudo-šumu do zvuku hry. Potom, keď dostane nahratý zvuk hry z ovládača, počúva sekvencie a pokúša sa zoradiť streamy. Ekho-Estimator odošle tieto informácie do modulu Ekho-Compensator, ktorý buď preskočí niekoľko milisekúnd zvuku, alebo pridá niekoľko milisekúnd ticha k hernému zvuku odoslanému serverom na synchronizáciu streamov.
Keď výskumníci testovali systém Ekho na skutočných reláciách cloudového streamovania, zistili, že dokáže vypočítať oneskorenie medzi tokmi s presnosťou na milisekundu. Aj keď bola kvalita mikrofónu nízka alebo bol zachytený hluk v pozadí, v 86,6% prípadov systém Ekho obmedzil oneskorenie medzi streammi na menej ako 10 ms.
„Tradičný spôsob, ako to urobiť, ktorý zahŕňa pokus zmerať chybu synchronizácie pomocou základnej siete, chyby sú podstatne väčšie,“ povedal Krishna Chintalapudi, jeden zo spoluautorov článku. „Keď sme s týmto projektom začínali, neboli sme si istí, či sa to vôbec dá urobiť. Ale presnosť, ku ktorej sa môžeme dostať s Ekho, na úrovni pod milisekundu, je neslýchaná“.
Vedci, povzbudení svojimi zisteniami, plánujú zistiť, ako systém Ekho synchronizuje päť ovládačov s rovnakým zariadením s obrazovkou. V súčasnosti, pretože systém Ekho bol navrhnutý na použitie v cloudových hrách, je jeho rozsah obmedzený. Budúca práca môže byť zameraná na zlepšenie dosahu systému, aby sa dal použiť na dlhšie vzdialenosti.
Príspevok, ktorý bude prezentovaný na konferencii SIGCOMM 2023, nájdete TU vo formáte PDF.
