Prof. Karine Nahon geeft leiding aan vrijwilligers in de oorlogskamer die na 7 oktober is opgezet in de Expo Tel Aviv. Foto door Nati Marcus via ISRAEL21c
Negen maanden vóór 7 oktober leidde prof . Karine Nahon , hoofd van het Data, Government and Democracy Program aan de Reichman Universiteit , protesten tegen de door de regering voorgestelde rechterlijke hervorming.
Op 7 oktober schakelde de datawetenschapper over en gebruikte kunstmatige intelligentie ( AI ) om de status te bepalen van duizenden mensen die vermist werden na de Hamas-aanvallen op Israëlische grensgemeenschappen in Gaza .
“Om 10 uur die ochtend kwamen acht of negen van de leiders van de protesten bijeen op Zoom. We hebben besloten een civiele oorlogskamer te creëren”, vertelde Nahon op de recente AI-dag onder leiding van het Blavatnik Interdisciplinaire Cyber Research Center in samenwerking met het Tel Aviv University Center for AI and Data Science.
“We wisten echt niet waar we het over hadden”, gaf ze toe.
“We wisten nog niet dat er gijzelaars en vermisten waren. We dachten destijds dat er zo’n dertig mensen dood waren en we wilden op de een of andere manier helpen, door mensen te evacueren.”
Datawetenschapper Karine Nahon spreekt op AI Day aan de Universiteit van Tel Aviv, 5 februari 2024. Foto door Dror Sithakol via ISRAEL21c
Tegen de middag, toen de berichten over moorden en ontvoeringen bleven toenemen, annuleerden Nahon en haar commissie alle 150 geplande protesten voor die avond en riepen ze zondagochtend om 8.00 uur een bijeenkomst bijeen.
“Iedereen nam een project aan. Ik bood aan om de leiding te nemen over het vinden van vermiste mensen. Hoeveel zouden het er tenslotte kunnen zijn? Ik wist zeker dat dit project maar vijf of zes uur zou duren en dat ik naar huis zou gaan”, zei ze.
Voormalig IDF-stafchef Dan Halutz en hightech-directeur Ari Harel boden zich vrijwillig aan om samen met Nahon de leiding te nemen.
Gegevenskracht
De vrijwilligers probeerden eerst vast te stellen hoeveel bewoners, bezoekers en Supernova-rave- feestgangers zich die dag daadwerkelijk in de getroffen gebieden bevonden.
Niemand kon hen deze cijfers geven – niet de IDF en niet het ministerie van Binnenlandse Zaken.
“Dus zeiden we tegen elkaar: wat is onze kracht? Onze kracht bestaat uit data, informatie die bestaat bij de mensen die ter plaatse waren.”
Nahon nam contact op met alle 25.000 mensen in haar gerechtelijke protest-WhatsApp-groepen, op zoek naar vrijwilligers. “De volgende dag hadden we van ’s ochtends tot ’s avonds 1.500 vrijwilligers die een enorme oorlogsruimte bemannen.”
Elk van deze vrijwilligers stuurde oproepen voor foto's, video's of lijsten van iedereen die op 7 oktober in de grensgemeenschappen van Gaza was geweest .
“Twee dagen later hadden we 200.000 video’s verzameld. Het was verbijsterend”, aldus Nahon. Later ontvingen ze ook officiële overheidsbeelden van beveiligingscamera's en GoPro's.
“Je hebt te maken met enorme big data. Je weet niet naar wie je kijkt. Je kunt geen reguliere AI-tools gebruiken omdat ze werken op gezichtsherkenning. Hoe herken je een gezicht aan het lichaam, als het gezicht niet bestaat of onder het bloed zit?
'Je kunt niet naar Target gaan en software vinden die zoekt naar vermiste mensen. We moesten onze eigen algoritmen uitvinden. We moesten tools ontwikkelen zodat onze vrijwilligers dingen konden taggen en metadata konden creëren.”
Vrijwilligers uit de technische wereld, de academische wereld en het bedrijfsleven onderzochten frame na frame in een poging mensen te identificeren aan de hand van gezicht, stem, tatoeages, sieraden en zelfs patronen op ondergoed of pyjama's.
Vrijwilligers in de oorlogskamer van Expo Tel Aviv in de eerste weken na 7 oktober. Foto door Nati Marcus via ISRAEL21c
Ze doorzochten TikTok, Telegram en WhatsApp en verzamelden alle gegevens die betrekking hadden op mensen in het zuiden van die dag.
Hamas alleen al had 150 Telegram-kanalen waar terroristen video’s van hun bloedbaden uploadden. “Het was een worsteling om de video’s te bemachtigen voordat de platforms ze verwijderden”, zei Nahon.
De tijd tikte
“We hadden vijftien verschillende ‘klanten’ – overheidsinstanties en veiligheidstroepen – die elke seconde op iets van ons wachtten,” zei ze tegen ISRAEL21c.
“En de tijd tikte. Iedereen in de oorlogskamer zag een metaforische klok voor hun ogen. We wisten dat na een week de kans om mensen levend terug te vinden vrijwel nul was.”
Nahon stond hen niet toe om op afstand te werken. Gedurende de drie en een halve week dat het team werd ingezet, moest elke vrijwilliger aanwezig zijn in de oorlogskamer van het congrescentrum Expo Tel Aviv.
Vrijwilligers in de oorlogskamer van Expo Tel Aviv in de eerste weken na 7 oktober. Foto door Nati Marcus via ISRAEL21c
“We hebben technieken en AI ontwikkeld, van stemherkenning tot gezichtsherkenning, van lichaamsherkenning tot sociale netwerkanalyse”, zegt Nahon tegen ISRAEL21c.
“Maar technologie alleen was niet genoeg. Het was geen regulier laboratorium waar je tijd hebt om te testen en te experimenteren. Dit was een gebeurtenis waarbij er geen enkele foutmarge bestond. Je kunt niet zeggen dat je iemand hebt gezien zonder 100 procent zeker te zijn; een heel land wachtte om te horen hoeveel vermiste mensen er nog in leven zijn en hoeveel er dood zijn.”
Naarmate de machinale leertechnologieën die meer dan 200.000 video's verwerkten, in de loop van de tijd slimmer werden, werden de mensen die ze gebruikten dat ook.
Menselijke intelligentie
“Om mensen te identificeren in een tijd waarin ze er heel anders uitzagen dan in hun dagelijks leven, moesten we veel menselijke intelligentie gebruiken”, zegt Nahon.
Nadat ze bijvoorbeeld in sommige video's witte Toyota-vrachtwagens hadden gezien die door de terroristen werden gebruikt, trainden ze het systeem om in alle video's naar deze voertuigen te zoeken.
Vrijwilligers met grafische vaardigheden verbeterden de kwaliteit van slechte video's, zodat de AI zijn werk beter kon doen.
“We gebruikten sociale netwerkanalyse met natuurlijke taalverwerking, zodat we konden weten wie de terroristen waren die een bepaalde persoon hebben ontvoerd,” zei Nahon.
'Het probleem is dat als ze eenmaal in Gaza zijn, je de ontvoerde mensen niet meer ziet. De terroristen die hen hebben ontvoerd, blijven rondcirculeren. Dus zeiden we: laten we, in plaats van te proberen de gijzelaars te vinden, proberen de mensen te vinden die de gijzelaars hebben meegenomen, en dan kunnen we misschien meer informatie over de gijzelaars achterhalen.
Stel de juiste vragen
Na drie dagen beperkten de vrijwilligers van de oorlogskamer een initiële lijst van mogelijk 10.000 vermiste mensen tot ongeveer 4.300 van wie de verblijfplaats onbekend bleef.
Na drie en een halve week slaagden ze erin de status van alle mensen, op vijftig na, vast te stellen voordat ze hun gegevens doorgaven aan overheids- en veiligheidsfunctionarissen.
“AI is geweldig en stelt ons in staat problemen op te lossen waarvan we dachten dat we ze niet konden oplossen”, zegt Nahon tegen ISRAEL21c.
“Maar het komt er allemaal op neer dat je een ruimte creëert waar je de juiste vragen stelt. In onze ruimte heb ik niet naar één [specifiek] algoritme gezocht. Ik vertelde iedereen die een idee had om aan de slag te gaan. We moesten in korte tijd 10.000 vermiste mensen vinden.”
Prof. Karine Nahon van de Reichman Universiteit spreekt over nieuwe technologieën om vermiste mensen te vinden, op AI Day aan de Universiteit van Tel Aviv. Foto door Dror Sithakol via ISRAEL21C
In het geval van een nieuwe ramp met meerdere slachtoffers, zei ze, “zullen we deze oorlogskamer binnen twee uur opnieuw kunnen creëren, omdat we veel hebben geleerd.”
En hoewel haar kortstondige team niet bevoegd is om de nieuwe technologieën en technieken met andere landen te delen, heeft ze goede hoop dat de Israëlische regering dit zal doen als de noodzaak zich voordoet.
“We hebben in feite minstens zes algoritmen uitgevonden die nog niet eerder bestonden en die zouden kunnen helpen bij andere evenementen met meerdere slachtoffers op andere plaatsen in de wereld”, zei Nahon.
Op 28 februari, voorafgaand aan de Internationale Vrouwendag, ontving Nahon een Peres Center for Peace and Innovation Medal of Distinction als een van de twintig heldinnen van 7 oktober.
