N12News: Als robots de trekker overhalen wie oordeelt er dan nog als het algoritme beslist wie er gedood moet worden?

Foto N12News

Dit is niet langer een futuristisch scenario uit een sciencefictionfilm. Autonome drones, grondrobots en slimme gereedschappen opereren nu op het slagveld en nemen steeds vaker zelfstandig beslissingen. Recente oorlogen hebben ze getransformeerd van een technologische aanvulling tot een volwaardige strijdmacht: ze vervoeren materieel en gewonden, verzamelen inlichtingen, markeren doelen en zijn soms zelfs in staat om ze zelfstandig te identificeren en aan te vallen, meldt N12News.

Nog maar twee maanden geleden kondigde de Oekraïense president Volodymyr Zelensky aan dat een versterkte Russische positie was ingenomen met uitsluitend onbemande systemen – zonder dat er ook maar één soldaat aan te pas was gekomen. De Russische soldaten zouden er de voorkeur aan hebben gegeven om uit hun bunkers te komen en zich over te geven aan de naderende machines, in plaats van op hun post te blijven. De video van de overgave werd al snel een symbool van het "nieuwe tijdperk van oorlogsvoering".

Het probleem is dat naarmate machines slimmer worden, ook de menselijke verantwoordelijkheid toeneemt. Wat gebeurt er op de dag dat een autonome drone een doelwit identificeert, besluit het aan te vallen – en de verkeerde persoon doodt? Zal de verantwoordelijkheid dan rusten op de soldaat aan het einde van de keten, de commandant, de programmeur, het bedrijf dat het systeem heeft ontwikkeld – of misschien wel de staat die een machine toestemming heeft gegeven om beslissingen over leven en dood te nemen?

Een nieuwe studie van dr. Aviv Bar Zohar van de Harry Radziner School of Law aan de Reichman Universiteit, onder begeleiding van prof. Aviv Gaon, probeert precies deze kwestie aan te pakken: of het mogelijk is om dodelijke autonome drones te gebruiken op een manier die voldoet aan de eisen van het internationaal humanitair recht, en hoe aansprakelijkheid kan worden vastgesteld wanneer een autonoom systeem een ​​verkeerde beslissing neemt en schade toebrengt aan onbetrokken personen. "De centrale vraag is niet langer of dergelijke systemen zullen worden ingezet," legt Bar Zohar uit in een gesprek met N12, "maar hoe we ervoor kunnen zorgen dat aansprakelijkheid niet verdwijnt in het algoritme."

Dr. Aviv Bar Zohar. Foto Tamara Barsky

Bar Zohar doet al meer dan tien jaar onderzoek naar drones. Toen hij drie jaar geleden met zijn onderzoek begon, leken autonome wapens nog iets voor de toekomst. Nu, zegt hij, staat die toekomst al voor de deur. "Stel je voor dat een zwerm drones een gebouw binnendringt, drie mensen uit honderd selecteert en ze elimineert – zover zijn we nog niet", zegt hij. "Maar als je het hebt over een drone die een specifiek voertuig identificeert op basis van vooraf ingevoerde kenmerken en besluit om het aan te vallen, dan bestaat dat vandaag de dag al."

De richting is duidelijk: meer autonomie, meer onbemande voertuigen en meer beslissingen genomen door kunstmatige intelligentiesystemen. Wie komt hiervoor in het beklaagdenbankje terecht? Hier begint het echt verontrustende gedeelte. Bar Zohar waarschuwt voor een fenomeen dat bekend staat als de "morele kreukelzone" - een situatie waarin de verantwoordelijkheid wordt "doorgeschoven" naar de jonge operator aan het einde van de keten, terwijl andere factoren die betrokken zijn bij planning, ontwikkeling, aansturing en beleidsvorming buiten het verantwoordelijkheidsgebied blijven.

"Een drone die een specifiek voertuig herkent aan de hand van kenmerken en besluit het aan te vallen - hij bestaat". Foto Extend

"Landen en bedrijven hebben de neiging om de bestuurder de schuld te geven", zegt hij. "Dat is precies wat er gebeurde bij ongelukken met zelfrijdende voertuigen. Als er iets misgaat, is het altijd makkelijker om te zeggen dat de bestuurder had moeten opletten."

Het probleem is dat de operator vaak degene is die het minst begrijpt hoe het algoritme werkt. "Een drone komt niet alleen op het slagveld aan," legt hij uit. "Iemand heeft hem ontworpen, iemand heeft de code geschreven, iemand heeft de vuurinstructies gegeven, iemand heeft het gebruik ervan goedgekeurd. En uiteindelijk, als hij de verkeerde persoon raakt, kijkt iedereen naar de jonge kapitein die op de knop drukte."

Je kunt je niet verschuilen achter een zwarte doos

Om de "verantwoordelijkheidskloof" aan te pakken die kenmerkend is voor autonome systemen, ontwikkelde Bar-Zohar een model genaamd LEGIT. Het model legt de verantwoordelijkheid niet bij de machine zelf, maar probeert deze te verankeren in alle fasen van de levenscyclus van het systeem – van de plannings- en ontwikkelingsfase, via goedkeuring en training, tot de operationele werking en het daaropvolgende onderzoek. Een van de belangrijkste principes van het model is de eis dat het systeem verklaarbaar, traceerbaar en reproduceerbaar moet zijn, zodat achteraf niet beweerd kan worden dat "het algoritme zelfstandig een beslissing heeft genomen".

"Je kunt je niet verschuilen achter een zwarte doos," zegt Bar Zohar. "Ik kan niet achteraf zeggen: 'Jongens, kunstmatige intelligentie, het is onduidelijk waarom het deed wat het deed.' Dat is geen rechtvaardiging voor een fout van een dodelijk autonoom instrument."

Ondanks de waarschuwingen vindt Bar Zohar niet dat autonome wapensystemen verboden moeten worden. Sterker nog, hij gelooft dat ze in sommige gevallen menselijke fouten op het slagveld kunnen verminderen, maar alleen op voorwaarde dat ze onderworpen zijn aan bijzonder strenge controle-, transparantie- en toezichtmechanismen. "Mensen zijn verantwoordelijk voor ongeveer 25 procent van de dodelijke slachtoffers op het slagveld", zegt hij. "Ze zijn moe, hongerig, bang, boos of willen wraak. Een robot is niet moe, niet wraakzuchtig en handelt niet vanuit emotie."

De robothond van Ghost Robotics in dienst bij het Amerikaanse leger. Foto Amerikaans Ministerie van Oorlog

De studie, geschreven tegen de achtergrond van de snelle verspreiding van autonome drones in moderne gevechtsgebieden, waaronder Oekraïne, Rusland en het Midden-Oosten, en tegen de achtergrond van het toenemende gebruik van kunstmatige intelligentie in veiligheidssystemen wereldwijd, schetst een verontrustend beeld dat aandacht vereist.

De echte strijd in de komende jaren zal niet alleen gaan over technologische superioriteit op het slagveld, maar over wie wie controleert – de mens in de machine, of de machine in de mens. De studie schetst een situatie waarin kunstmatige intelligentie niet slechts een hulpmiddel is voor de soldaat, maar een factor die in staat is om in realtime mee te beslissen over dodelijke gevolgen. In zo'n situatie, zonder regulering, toezicht en duidelijke menselijke verantwoordelijkheid, zou de wereld zich in een nieuw tijdperk kunnen bevinden waarin het algoritme de trekker overhaalt.