Nástroj umelej inteligencie rýchlo vykreslí 2D fotografie ako 3D scénu
- Autor:
- Roman Mališka
- Zverejnené:
- 29. 3. 2022
- Hodnotenie:
- Už ste hlasovali.
Spoločnosť Nvidia odhalila šikovný nástroj umelej inteligencie, ktorý zoberie niekoľko 2D fotografií rovnakej scény z rôznych uhlov a takmer okamžite ich premení na celoplošnú trojrozmernú digitálnu scénu.
Tento pokrok vychádza z výskumu Kalifornskej univerzity v Berkeley, spoločnosti Google a Kalifornskej univerzity v San Diegu, ktorý využíva neurónové siete na vykresľovanie fotorealistických 3D obrazov scén s použitím malého súboru 2D fotografií z rôznych uhlov pohľadu ako zdroja. Nástroj neurónových polí žiarenia (NeRF) v podstate odhaduje všetky informácie o farbe / svetle scény, ktoré chýbajú vo vstupných údajoch, a vypĺňa prázdne miesta.
Hoci prvé modely NeRF dokázali vytvoriť vykreslené scény v priebehu niekoľkých minút, trénovanie neurónových sietí trvalo podstatne dlhšie. Vývoj technológie Instant NeRF od spoločnosti Nvidia v podstate skracuje čas trénovania aj vykresľovania „o niekoľko rádov“ a dokáže model trénovať na niekoľkých desiatkach statických obrázkov, spolu s údajmi o uhle fotoaparátu, len za niekoľko sekúnd a potom vykresliť 3D scénu s rozlíšením 1 920 x 1 080 pixelov o niekoľko desiatok milisekúnd neskôr.
Bolo to možné vďaka vývoju novej metódy kódovania vstupov s názvom kódovanie hash grid s viacerými rozlíšeniami, ktorá bola optimalizovaná pre grafické procesory Nvidia a umožňuje dosiahnuť „vysokokvalitné výsledky pomocou malej neurónovej siete, ktorá pracuje rýchlo“.
„Ak tradičné 3D reprezentácie, ako sú polygonálne siete, pripomínajú vektorové obrázky, NeRF sú ako bitmapové obrázky: husto zachytávajú spôsob, akým svetlo vyžaruje z objektu alebo v rámci scény,“ povedal David Luebke, viceprezident spoločnosti Nvidia pre grafický výskum. „V tomto zmysle by mohol byť nástroj Instant NeRF pre 3D rovnako dôležitý ako digitálne fotoaparáty a kompresia JPEG pre 2D fotografie - výrazne zvyšuje rýchlosť, jednoduchosť a dosah 3D snímania a zdieľania“.
Spoločnosť Nvidia naznačuje, že táto technológia by si mohla nájsť využitie pri výcviku robotov a autonómnych vozidiel, aby lepšie porozumeli objektom v reálnom svete, ako aj pri tvorbe obsahu virtuálnej reality, videokonferenciách, digitálnom mapovaní, architektúre a zábave.
