Weinig licht beperkt je foto's en video's niet meer, dankzij een Israëlisch bedrijf

Screenshot YouTube

U staat met uw gezin in het donker voor een slecht verlichte strandpromenade. Je wilt hun gezichten, het zand en de golven vastleggen in een foto of video, maar de zon werkt op dat uur niet mee.

Dankzij een nieuwe samenwerking tussen de Israëlische startup Visionary.ai en de toonaangevende chipmaker Qualcomm zal het maken van verbluffende beelden bij weinig licht mogelijk zijn op de volgende generatie Android-smartphones – misschien al dit jaar – door de Snapdragon 8 Gen 3-processor van Qualcomm te koppelen met de nachtzichttechnologie van Visionary.ai.

Vergelijking laat zien hoe Visionary.ai-software het nachtzicht verbetert in vergelijking met een iPhone 15 en zelfs een telefoon met een goedkope beeldsensor. Foto: screenshot

Visionary.ai gebruikt, zoals het tweeletterige achtervoegsel van de naam al aangeeft, AI (kunstmatige intelligentie) om de kwaliteit van camerasensoren en lenzen te verbeteren.

Het bedrijf stond bezoekers op zijn stand op de Consumer Electronics Show ( CES ) in Las Vegas in januari toe om deel te nemen aan een “uitdaging bij weinig licht om de videokwaliteit van hun eigen camera’s te testen met camera’s die worden aangedreven door de software van Visionary.ai”, zegt vice-president marketing van het bedrijf, Althea Mirvis, aan ISRAEL21c.

Het was de eerste keer dat Visionary.ai de technologie op een consumentenapplicatie liet zien.

Mirvis herinnert zich dat een senior executive van een van 's werelds grootste camerafabrikanten naar de CES kwam en zei: "Ik dacht dat Visionary.ai een klein bedrijf was, maar nu zie ik dat je overal bent."

“Toevallig had hij net een paar van de bedrijven bezocht waarmee we samenwerken, en iedereen had het over ons. We lachten samen en vertelden hem dat we inderdaad een klein bedrijf zijn, maar dat we inderdaad overal in het ecosysteem voorkomen.”

Tijd is alles

In het verleden was de enige manier om betere foto's en video's te krijgen op een consumentenelektronica-apparaat zoals een smartphone of een digitale camera hardware: een grotere lens of meer sensoren, die gewicht en warmte toevoegen en ook de batterij leegmaken.

De aanpak van Visionary.ai is volledig gebaseerd op software.

Sinds de oprichting van het bedrijf in 2020 zijn de softwarevereisten zo geslonken dat de door AI aangedreven algoritmen van Visionary.ai nu op een camera kunnen passen die zo klein is als die op de punt van een endoscoop, een medisch apparaat dat wordt gebruikt voor het onderzoeken van de menselijke darmen. wat aangeeft dat het assortiment van Visionary.ai ooit verder zou kunnen gaan dan alleen consumentenapparaten.

"Als we dit een paar jaar geleden zouden ontwikkelen, zou deze software nergens kunnen worden uitgevoerd", legt Yoav Taieb, CTO, een van de medeoprichters van het bedrijf uit, samen met Oren Debbi, CEO van Visionary.ai.

“Er is een hele sterke computer met veel kracht voor nodig. Maar de afgelopen jaren zijn AI-acceleratorchips in telefoons veel krachtiger geworden en kunnen ze veel meer informatie verwerken. We gebruiken die krachtige chips om onze software te laten draaien.”

Oren Debbi, CEO van Visionary.ai, en Yoav Taieb, CTO, hebben het bedrijf mede opgericht. Foto met dank aan Visionary.ai via ISRAEL21c

Dit maakt deel uit van een algemene trend. “Waar het verbeteren van smartphonefotografie vroeger gepaard ging met het upgraden van de fysieke sensor en de lens”, zegt Taieb, “is de focus nu verschoven naar het verbeteren van de software en de algoritmen daarin.”

Als zodanig 'leeft' de software van Visionary.ai op de camerasensor of, zoals in het Qualcomm-partnerschap, op een siliciumchip naast de sensor.

Debbi vergelijkt wat Visionary.ai softwarematig met fotografie en video kan doen met een auto. “Stel je voor dat je een goedkope auto zou kunnen nemen, deze een software-upgrade zou kunnen geven, en dan zou hij beter kunnen presteren dan een raceauto. Dat is wat wij doen voor camera’s.”

Live

Een deel van de aantrekkingskracht van Visionary.ai is dat alle verwerking lokaal gebeurt, wat betekent dat u in realtime beeld- en videoverbetering krijgt.

Vergelijk dat eens met de "video boost" -functie in Google's Pixel 8 Pro, die onbewerkte bestanden van een opname vastlegt, deze naar de cloud uploadt om te verwerken en vervolgens een bewerkte versie in betere kwaliteit downloadt. Het moet voor elke opname handmatig worden ingeschakeld en er is een limiet van 10 minuten.

Een dergelijke regeling voor bijvoorbeeld een beveiligingscamera “zou niet helpen als deze niet in realtime wordt uitgevoerd”, vertelt Debbi aan ISRAEL21c.

Nog een differentiatiepunt: wanneer bedrijven als Apple of Google software voor hun eigen apparaten bouwen, geven ze daar doorgaans geen externe licenties voor.

"We democratiseren premium videokwaliteit en maken deze beschikbaar voor een bredere markt", merkt Debbi op.

Een andere concurrent, Restormer, is een open-sourceproject dat mogelijk ook buiten de grote technologiebedrijven aanslaat. Restormer heeft een vergelijkbare ruisonderdrukking als Visionary.ai, maar vereist meer computerkracht en het duurt 212 keer langer om uit te voeren.

Ook hier geen realtime voordeel.

Ook hier lawaai onderdrukken

De technologie van Visionary.ai dekt een breed scala aan fotografie- en videobehoeften.

• Een op AI gebaseerde ‘denoiser’ vermindert beeldruis met software, wat lagere kosten en minder energieverspilling betekent.

• Een softwarematige beeldsignaalprocessor (ISP) resulteert in scherpere beelden en nauwkeurigere kleuren, ook voor video- en beeldopname overdag.

• Real-time videoverbetering kan achtergronden vervagen of corrigeren waar de ogen naartoe gericht zijn tijdens een videoconferentiegesprek of tijdens het maken van een selfie.

• Voor smartphones die gezichtsherkenning gebruiken om te ontgrendelen, kan Visionary.ai het voor het apparaat veel gemakkelijker maken om gebruikers te herkennen, zelfs in een pikdonkere kamer.

• 
  

Hoe werkt Visionary.ai zijn magie? Debbi wilde niet te veel van de geheime saus van het bedrijf delen, maar CTO Taieb vertelde de website PetaPixel dat de op AI gebaseerde aanpak een geavanceerd algoritme toepast op de onbewerkte beeldgegevens om de ruis van het beeldsignaal te scheiden. 

De onderstaande video laat zien hoe krachtig softwaregebaseerde visuele verbetering kan zijn. Het vergelijkt de technologie van Visionary.ai met de Samsung S23 Ultra en de iPhone 15 Pro Max. De video is opgenomen bij 0,2 lux, vergelijkbaar met maanlicht in de woestijn zonder lichtvervuiling.

Een pandemisch idee

Debbi en Taieb kregen het idee voor Visionary.ai tijdens de Covid-lockdowns, toen Zoom de belangrijkste manier werd om te communiceren tijdens de begindagen van de pandemie.

“Covid heeft het probleem echt benadrukt”, vertelt Debbi aan ISRAEL21c.

“Plotseling brachten we elke dag uren door met Zoom-gesprekken voor donkere en wazige schermen met een slechte videokwaliteit. We vroegen ons af of we de videokwaliteit konden verbeteren door de software te verbeteren. We ontdekten dat weinig licht een groot probleem was – niet alleen voor Zoom, maar ook voor veel andere toepassingen.”

Debbi, 29, heeft twee jonge kinderen, dus het verbeteren van de beeldkwaliteit op de babyfoons van zijn kinderen was ook een inspiratiebron.

Het bedrijf heeft sinds de oprichting ongeveer $ 10 miljoen opgehaald. In 2023 selecteerde CB Insights Visionary.ai uit ongeveer 9.000 bedrijven als een van de 100 meest veelbelovende particuliere AI-bedrijven ter wereld.

Toen ISRAEL21c Visionary.ai enkele jaren geleden voor het eerst begon te volgen, na de eerste verschijning van het bedrijf op CES, noemden Debbi en het team verschillende potentiële doelmarkten: videoconferenties, CCTV (gesloten circuit), drones, medische toepassingen, auto's (in het voertuig om de alertheid van de bestuurder te monitoren, buiten om ongelukken bij weinig licht te voorkomen) en slimme steden.

Maar de buzz op CES ging helemaal over telefoons en consumentenapparatuur, dus dat is waar het vijftienkoppige team van Visionary.ai in Jeruzalem zich nu op concentreert. Het model is business-to-business met apparaat- en chipfabrikanten – hoewel Debbi toekomstige directe verkoop aan particulieren als upgrade of add-on niet uitsluit.

“Voor nu willen we blijven groeien en onze technologie in elke camera ter wereld krijgen”, benadrukt Debbi.

Een bedrijf runnen tijdens een oorlog

We spraken Debbi op een zeldzaam moment van relatieve rust.

Sinds de Hamas-aanval van 7 oktober dient hij in de IDF-reservaten. Hij kon uitstappen om de CES bij te wonen. Toen was hij weer terug en redde gewonde soldaten in Gaza.

Terwijl hij weg was, heeft Taieb dubbel op kantoor gewerkt “om alles soepel te laten verlopen”, vertelt Mirvis aan ISRAEL21c. Ondanks de oorlog “hadden we ons beste kwartaal van het jaar. Bij CES hadden we rijen tot aan de deur.”

Zijn Debbi, Taieb en Mirvis enig anti-Israël sentiment tegengekomen op de showroomvloer?

‘Helemaal geen,’ zegt Debbi. “Mensen zeiden dat Israël de meest verbazingwekkende technologie heeft.”

“We zien dezelfde veerkracht in de hightechsector als op het slagveld”, zegt hij.

“Mensen werken nu meer samen, ze zijn meer verbonden, iedereen wil helpen. Doorheen onze geschiedenis is Israël altijd sterker teruggesprongen dan voorheen. Het volk van Israël is optimistisch. We laten ons niet door een tragedie tegenhouden of innovatie in de weg staan. Wij willen een betere toekomst voor onze kinderen opbouwen.”

Eén waarin de nachtelijke capriolen van de kinderen worden vastgelegd in prachtige, verbeterde en stille video.

Voor meer informatie, klik hier .