Volumetrische opname creëert een metaverse-ready avatar. Afbeelding met dank aan YOOM via ISRAEL21C
Als Mark Zuckerberg gelijk heeft, wordt de metaverse de 3D-opvolger van de huidige 2D-sociale media. Maar om daar in stijl te komen, moeten we onze virtuele afbeeldingen opfleuren.
YOOM wil je avatarmaker van de volgende generatie zijn.
In de online gamingwereld zijn avatars een digitale weergave van een speler. Ze kunnen op de werkelijke persoon lijken of digitaal worden verbeterd. Wil je vuurspuwen als een draak of Vikinghoorns spelen? Natuurlijk waarom niet.
In het niet zo verre verleden vereiste het creëren van een realistische avatar die op natuurlijke wijze door de digitale ruimte kan bewegen een speciale studio met camera's, op maat gemaakte software en voldoende computers om aan de verwerkingsvereisten te voldoen.
YOOM creëert dezelfde illusie met een paar kant-en-klare camera's, kunstmatige intelligentie en computervisiesoftware.
“Als ik in World of Warcraft of Roblox [een populair spelplatform met 1,7 miljard gebruikers wil zijn, kan ik mijn telefoon gebruiken om mijn eigen avatar te maken. Ik kan het vergroten om eruit te zien als een elf of om me buffer te laten lijken, 'vertelt YOOM CEO Gilad Talmon aan ISRAEL21c.
De avatar krijgt de 3D-behandeling dankzij motion capture-algoritmen, dezelfde technologie die wordt gebruikt om Golem in The Lord of the Rings of Caesar in de Planet of the Apes- films realistisch te laten lijken. Het effect werkt het beste wanneer de speler een virtual reality-bril (VR) draagt, of op zijn minst een augmented reality-headset (AR).
Het is niet alleen voor games.
"Als je een rapoptreden van Travis Scott in Fortnite wilt zien, kun je als jezelf gaan en tijd doorbrengen met je vrienden", legt Talmon uit.
Net alsof je erbij bent? Niet helemaal, maar als de metaverse aan complexiteit wint, zullen we dan uiteindelijk niet in staat zijn om het verschil te zien?
Het algoritme doet al het werk
Professionals kunnen YOOM gebruiken om avatars te bouwen waaruit spelers kunnen kiezen. Dat is geen gemakkelijke taak. Denk aan Keanu Reeves in de videogame The Matrix Awakens.
"Ze moesten motion capture van zijn gezicht en zijn hele lichaam maken, en ze hadden een 3D-artiest nodig om de capture en de beweging op te schonen", legt Talmon uit.
“Het is een lang en kostbaar proces om high-end niveaus te bereiken. Met onze technologie hoef je alleen maar de video te filmen en krijg je super high fidelity. Het algoritme doet al het werk en past het vervolgens toe op alle pijplijnen die je hebt.”
Het bedrijf, opgericht in 2016 als Tetavi, werd omgedoopt tot YOOM om beter te beschrijven wat het doet: "volumetrische opname" of het vastleggen van beelden in drie dimensies. Wanneer ze achter elkaar worden uitgevoerd, wekken deze afbeeldingen de indruk van beweging. (Een video is ter vergelijking een reeks 2D-beelden.)
"Het is een zeer vloeiende beweging, niet zoals de beweging die je gewoonlijk in games ziet", zegt Talmon. "De gezichtsuitdrukkingen zien er echt uit."
Talmon kwam naar YOOM van lucht- en ruimtevaartaannemer Elbit, waar hij werkte aan projecten die "de aangesloten helm van de jachtpilootwereld naar civiel gebruik brachten, zoals zoek- en reddingsacties."
3 petabyte aan gegevens
Een door YOOM gemaakte avatar kan door ontwikkelaars worden "gamified" om extra taken uit te voeren die de speler in het echte leven niet kan doen. Zoals misschien in één keer over hoge gebouwen springen?
Hiervoor zijn veel gegevens nodig, iets wat YOOM in overvloed heeft.
"We hebben duizenden mensen gescand", zegt Talmon. “Verschillende leeftijdsgroepen, verschillende regio's, verschillende lichaamsvormen en kapsels. We hebben een repository van drie petabytes aan data.”
Kunstmatige intelligentie vult de meeste hiaten. “Als je vouwen aan de voorkant van mijn shirt ziet, kun je ervan uitgaan dat die doortrekken naar de achterkant. Als er een spelersnummer op de voorkant van een shirt staat, kun je er vrij zeker van zijn dat het ook op de achterkant staat. Maar als ik een tatoeage op mijn rug heb, raad je dat nooit.”
De professionele versie van de software van YOOM is 'submillimeter nauwkeurig', beweert Talmon.
De thuisversie, die dit jaar uitkomt, is minder veeleisend. Maar de inzet is ook niet zo hoog. "Als je een klein stukje haar of een paardenstaart hebt gemist, maakt het je niet uit. Het enige wat je hoeft te doen om aan een game deel te nemen, is een foto maken. Het algoritme doet de rest.”
Muziekvideo's, sport
Er zijn veel mogelijke use-cases voor YOOM.
Muzikanten Besomorph en Riell hebben bijvoorbeeld video's gemaakt met behulp van de technologie van YOOM.
De meeste muziekvideo's gebruiken tegenwoordig een groen scherm om de artiest op een achtergrond te plaatsen die er niet is. "Het kan uren duren om het in te stellen", zegt Talmon.
Met YOOM kunnen ontwikkelaars de bewegingsrealistische avatar van de muzikant bouwen en deze vervolgens in een 3D-omgeving plaatsen waar hij bijna onafhankelijk kan werken.
Wil je een duet zingen met Beyonce waar jullie allebei in de video staan? JOOM kan het. (Beyonce zou natuurlijk een YOOM-klant moeten zijn.)
"Het creëert een nieuw niveau van interactie tussen artiesten en hun fanbases", zegt Talmon.
In 2020, op het hoogtepunt van de Covid-pandemie, nam de toenmalige Israëlische president Reuven Rivlin een begroeting op de Onafhankelijkheidsdag op met behulp van YOOM-technologie (toen het nog Tetavi heette), waarbij hij burgers uitnodigde een selfie te maken met een virtuele versie van hemzelf.
De Los Angeles Kings gebruikten YOOM-software om het eerste NHL-team te worden dat de metaverse betrad.
YOOM nam zijn draagbare productiestudio mee naar de oefenbaan van de Kings in Californië en filmde spelers die in volle uitrusting oefenden terwijl acht camera's hun bewegingen vastlegden.
Hetzelfde proces werd gebruikt om Bailey, de leeuwmascotte van de koning, te filmen terwijl hij op een trommel sloeg en in het rond danste. Het eindproduct werd getoond op de videoschermen van de arena.
Grote plannen
YOOM heeft in totaal $ 50 miljoen opgehaald en heeft 80 mensen in dienst in New York, Tokio, Los Angeles en Tel Aviv. Het bedrijf heeft een licentie- en royaltymodel dat vergelijkbaar is met game-uitgevers zoals Unity, Roblox en Epic Games.
"We proberen in wezen de manier waarop mensen communiceren te veranderen", vertelt Talmon aan ISRAEL21c.
“Ik zie menselijke communicatie als het overbrengen van berichten van de ene persoon naar de andere. De meeste menselijke communicatie verloopt tegenwoordig via platte schermen. We proberen dat naar de 3D-wereld te brengen waar het natuurlijker is, alsof het gesprek samen in dezelfde kamer plaatsvindt.”
We staan nog maar aan het topje van de ijsberg, benadrukt Talmon. “We hebben nog geen idee waar dit heen zal gaan. We concentreren ons eerst op gamen, want dat bestaat al. Op de lange termijn zal het de manier waarop mensen communiceren echt veranderen.”
Hoewel de metaverse nog vijf tot tien jaar verwijderd is, voegt Talmon eraan toe: “Deze meeslepende virtuele omgeving is er vandaag. Als we nadenken over waar de wereld naartoe gaat, heeft dit het potentieel om een enorm netto goed voor de samenleving te brengen.
Klik hier voor meer informatie over YOOM.
