Neem het volgende scenario in overweging: een militair apparaat heeft een miljoen goedkope wegwerpbare vliegende drones gekocht, elk ter grootte van een pak kaarten en in staat om drie gram explosieven te vervoeren – genoeg om een persoon te doden of om in een ‘shaped charge’ (in een cilindrisch projectiel) een stalen muur te doorboren. Ze zijn geprogrammeerd om bepaalde mensen op te sporen en te doden (in het Engels omfloerst omschreven als ‘to engage’), gebaseerd op bepaalde onderscheidende kenmerken, bijvoorbeeld het dragen van een wapen of het hebben van een bepaalde huidskleur. Ze passen in één scheepscontainer en kunnen vanop afstand worden ingezet. Eenmaal gelanceerd vliegen en doden ze autonoom, zonder dat er verdere menselijke actie vereist is.
Sciencefiction? Niet echt. Het zou morgen kunnen gebeuren. De technologie bestaat al.
In feite hebben dodelijke autonome wapensystemen (LAWS) een lange geschiedenis. Tijdens de lente van 1972 bezette ik een aantal dagen de natuurkundegebouwen van de Columbia Universiteit in New York City. Met honderden andere studenten sliep ik op de vloer, at ik gedoneerde afhaalmaaltijden en luisterde ik naar Alan Ginsberg toen hij opdook om ons te eren met zijn geïmproviseerde poëzie. Ik schreef toen pamfletten die ik uitprintte op een opgeëiste Xerox-machine.
En waarom kozen we uit alle gebouwen, het gebouw dat het departement Natuurkunde herbergde? Het antwoord: om vijf natuurkundigen van de Columbia-faculteit ervan te overtuigen om hun banden te verbreken met de aan het Pentagon verbonden ‘Jason Defense Advisory Group’, een programma dat geld en laboratoriumruimte bood ter ondersteuning van fundamenteel wetenschappelijk onderzoek dat nuttig zou zijn voor de oorlogsinspanningen van de VS.
We hadden specifiek bezwaar tegen de betrokkenheid van de Jason-wetenschappers in het ontwerpen van onderdelen van wat toen bekend stond als het ‘geautomatiseerd slagveld’ dat in Vietnam ingezet moest woren. Dat systeem zou inderdaad een voorloper blijken van de dodelijke autonome wapensystemen die op het punt staan een potentieel belangrijk onderdeel te worden van het wapenarsenaal van de VS – en van de wereld.
Vroege (semi-)autonome wapens
Washington werd geconfronteerd met tal van strategische problemen bij het voeren van zijn oorlog in Indochina, waaronder de algemene corruptie en de onpopulariteit van het Zuid-Vietnamese regime dat het ondersteunde. De grootste militaire uitdaging voor de VS was waarschijnlijk de voortdurende Noord-Vietnamese infiltratie van personeel en voorraden via de zogenaamde Ho Chi Minh-route, die van noord naar zuid liep langs de Cambodjaanse en Laotiaanse grenzen. De route was in feite een netwerk van gemakkelijk te herstellen onverharde wegen en paden, stromen en rivieren, verstopt onder het dikke bladerdak van de jungle. Het was bijna onmogelijk om vanuit de lucht beweging te detecteren op deze route.
De oplossing van de VS, ontwikkeld door Jason in 1966 en het jaar erop ingezet, was een poging om deze infiltratie tegen te gaan via de creatie van een geautomatiseerd oorlogsterrein bestaande uit vier onderdelen die overeen kwamen met de ogen, het zenuwstelsel, de hersenen en de ledematen van een mens.
In 1966 creëerde de VS een geautomatiseerd oorlogsterrein om in te zetten tijdens de Vietnamoorlog.
De ogen bestonden uit een brede waaier van sensoren -akoestisch, seismisch en zelfs chemisch (om menselijke urine te kunnen waarnemen). De meeste sensoren werden vanuit de lucht in de jungle gedropt. De equivalenten van de zenuwen transfereerden de signalen van de sensoren naar ‘het brein’. Aangezien de sensoren een maximaal zendbereik hadden van ongeveer 32 km, moest het VS-leger echter voortdurend over het gebladerte vliegen om de mogelijke signaal op te vangen die geactiveerd waren door passerende Noord-Vietnamese troepen of transporten. (Oorspronkelijk was het de bedoeling dat de vliegtuigen vanop afstand bestuurd zouden worden, maar dat werkte zo slecht dat er doorgaans menselijke piloten nodig waren.)
De vliegtuigen stuurden het nieuws dan door naar het brein. En dat brein, een magnifieke militaire installatie die in het geheim gebouwd werd in het Thaise stadje Nakhon Phanom, bestond uit twee ultramoderne IBM mainframe computers. Een klein leger van programmatoren schreef en herschreef de code om ze aan de gang te houden, terwijl ze wijs probeerde te geraken uit de gegevensstroom die getransfereerd werd door de vliegtuigen, het equivalent van de ledematen. De groep die dit geautomatiseerd oorlogsterrein beheerde, heette ‘Task Force Alpha’ en het hele project droeg de codenaam ‘Igloo White’.
Achteraf bleek Igloo White grotendeels een dure mislukking, die vijf jaar lang ongeveer een miljard dollar per jaar kostte (dat komt vandaag overeen met in totaal ongeveer 40 miljard dollar). De tijdsspanne tussen het triggeren van een sensor en het afvuren van munitie maakte het systeem inefficiënt. Het resultaat was dat Task Force Alpha simpelweg tapijtbombardementen uitvoerde in gebieden waar één enkele sensor was afgegaan. De Noord-Vietnamezen hadden snel door hoe de sensoren werkten en ontwikkelden methoden om ze te misleiden, van het afspelen van tapes met vrachtwagengeluiden tot het plaatsen van emmers met urine.
Gezien de geschiedenis van semi-geautomatiseerde wapensystemen zoals drones en ‘slimme bommen’ in de tussenliggende jaren zal het niet verbazen dat dit eerste geautomatiseerde oorlogsterrein totaal geen onderscheid maakte tussen soldaten en burgers. Op dat vlak zetten ze slechts een trend voort die al bestond sinds tenminste de 18de eeuw, namelijk dat oorlogen systematisch meer burgers dan strijders doden.
Geen van deze tekortkomingen weerhield functionarissen van het ministerie van Defensie ervan om met ontzag naar het geautomatiseerd oorlogsterrein te kijken. Andrew Cockburn omschreef deze houding in zijn boek ‘Kill Chain: The Rise of the High-Tech Assassins’. Hij citeert daarin Leonard Sullivan, een hooggeplaatste Pentagon-functionaris die Vietnam bezocht in 1968: “Net zoals het bijna onmogelijk is om een agnosticus te zijn in de kathedraal van Notre Dame, is het moeilijk om zich niet te laten meeslepen door de schoonheid en grootsheid van de Task Force Alpha-tempel.”
Wie of wat, zal u zich afvragen, viel er te aanbidden in een dergelijke tempel?
De meeste aspecten van het ‘geautomatiseerde’ oorlogsterrein in het tijdperk van de Vietnamoorlog vereiste eigenlijk menselijke inmenging. Mensen moesten de sensoren plaatsen, programmeerden de computers, bestuurden de vliegtuigen en lieten de bommen vallen. Op welke manier was het oorlogsterrein dan ‘geautomatiseerd’? Als voorbode op wat komen ging, had het systeem de menselijke tussenkomt op één cruciaal punt van het proces geëlimineerd: de beslissing om te doden. Op het geautomatiseerde oorlogsterrein beslisten de computers waar en wanneer er bommen gedropt moesten worden.
Op het geautomatiseerde oorlogsterrein beslisten de computers waar en wanneer er bommen gedropt zouden worden.
In 1969 sprak stafchef van het leger William Westmoreland zijn enthousiasme uit over deze verwijdering van het rommelige menselijke element van oorlogsvoering. Tijdens een lunchmeeting van de lobbygroep, de ‘Association of the U.S. Army’, verklaarde hij: “Op het oorlogsterrein van de toekomst zullen vijandelijke troepen gelokaliseerd, gevolgd en bijna onmiddellijk geviseerd worden via het gebruik van datalinks, computer-gestuurde intelligentie-evaluatie en geautomatiseerde vuurkracht. Met een bijna zekere probabiliteit te doden en met bewakingsapparatuur die de vijand voortdurend kan volgen, zal de nood aan een grote troepenmacht om de tegenstand te verslaan minder belangrijk worden.”
Met het ‘verslaan van de tegenstand’ bedoelde Westmoreland het doden van de vijand. Een ander militair eufemisme in de 21ste eeuw is ‘to engage the enemy’. In beide gevallen is de betekenis hetzelfde: de rol van dodelijke autonome wapensystemen is om mensen automatisch te lokaliseren en te doden, zonder menselijke interventie.
Nieuwe LAWS voor een nieuw tijdperk
Elke herfst sponsort de ‘British Broadcasting Corporation’ (BBC) een reeks van vier lezingen gegeven door een expert in een belangrijk vakgebied. In 2021 nodigde de BBC Stuart Russell uit, professor in de computerwetenschappen en oprichter van de ‘Center for Human-Compatible Artificial Intelligence’ aan de Universiteit van California, Berkeley, om deze ‘Reith-lezingen’ te geven. Het algemeen onderwerp van zijn reeks was de toekomst van artificiële intelligentie (AI).
Zijn tweede lezing droeg de titel ‘De toekomstige rol van AI in oorlogsvoering’. Daarin sneed hij het onderwerp van dodelijke autonome wapensystemen of LAWS aan, die door de Verenigde Naties gedefinieerd worden als “wapens die menselijke doelwitten lokaliseren, selecteren en aanvallen zonder menselijk toezicht”.
Russells belangrijkste en eloquent geformuleerde punt was dat in tegenstelling tot wat veel mensen geloven? dodelijke autonome wapensystemen geen potentiële toekomstige nachtmerrie vormen en ze zich niet in het rijk van de sciencefiction bevinden. “Je kan ze vandaag kopen. Ze worden geadverteerd op het internet”.
Ik heb nooit een film gezien van de Terminator-franchise, maar blijkbaar gaan militaire planners en hun PR-teams ervan uit dat de meeste mensen hun beeld van LAWS ontlenen aan deze fictieve dystopische wereld. Pentagon-functionarissen doen vaak veel moeite om uit te leggen dat de wapens die zij ontwikkelen geen levensechte equivalenten zijn van SkyNet, het wereldwijde communicatienetwerk dat in die films zelfbewust wordt en beslist om de mensheid te elimineren.
We hoeven ons geen zorgen te maken, zoals een viceminister van Defensie, aan Russell verzekerde: “We hebben aandachtig geluisterd naar deze argumenten en mijn experten hebben me gegarandeerd dat er geen risico bestaat dat we per ongeluk een SkyNet creëren.”
Russells punt was echter dat een wapensysteem geen zelfbewustzijn nodig heeft om autonoom te handelen of om een bedreiging te vormen voor onschuldige mensen. Wat het wel nodig heeft is: 1. Een mobiel platform (eender wat dat kan bewegen, van een minuscule quadcopter tot een vliegtuig met vaste vleugels); 2. Zintuiglijke capaciteiten (de mogelijkheid om visuele- of geluidsinformatie te detecteren); 3. De capaciteit om tactische beslissingen te nemen (dezelfde capaciteit die al gevonden wordt in computerprogramma’s die schaak spelen); 4. Het vermogen om aan te vallen, d.w.z. te doden (dat kan zo gecompliceerd zijn als het afvuren van een raket of het droppen van een bom, of zo rudimentair als het plegen van robotzelfmoord door te botsen met een doelwit en te ontploffen).
Een wapensysteem heeft geen zelfbewustzijn nodig om autonoom te handelen of om een bedreiging te vormen voor onschuldige mensen.
De realiteit is dat dergelijke systemen al bestaan. Een wapenbedrijf van de Turkse overheid adverteerde onlangs bijvoorbeeld zijn KARGU-drone, een quadcopter “ter grootte van een bord” -zoals Russell het omschreef- die een kilo aan explosieven kan dragen en “autonome anti-persoonsaanvallen” kan uitvoeren op doelwitten “geselecteerd op basis van beelden en gezichtsherkenning”.
Het bedrijf paste zijn site onlangs aan en legt nu de nadruk op het feit dat het zich houdt aan het zogenaamde ‘man-in-the-loop’-principe (d.w.z. dat er menselijke toezicht is). De VN rapporteerde echter dat een volledig autonome KARGU-2 ontplooid werd in Libië in 2020.
Je kan je eigen quadcopter gewoon op Amazon kopen, hoewel je nog steeds wat doe-het-zelf computervaardigheden moet toepassen om hem autonoom te laten werken.
De waarheid is dat dodelijke autonome wapensystemen er eerder uitzien als zwermen kleine killer-robots dan als iets uit de Terminator-films. Computer-miniaturisatie betekent dat de technologie al bestaat om doeltreffende LAWS te creëren. Als je smartphone zou kunnen vliegen, zou het een autonoom wapen kunnen zijn. De nieuwere modellen gebruiken gezichtsherkenningssoftware om ‘te beslissen’ of er toegang tot het toestel verleend wordt of niet. Het is geen grote sprong naar de creatie van vliegende wapens ter grootte van een gsm die geprogrammeerd zijn om ‘te beslissen’ om specifieke individuen of individuen met bepaalde kenmerken aan te vallen. Het is zelfs zeer waarschijnlijk dat dergelijke wapens reeds bestaan.
Kunnen we LAWS verbieden?
Wat is er mis met LAWS en heeft het zin om ze te proberen verbieden? Sommige tegenstanders van LAWS argumenteren dat het probleem ligt bij het feit dat ze de menselijke verantwoordelijkheid weglaten bij het maken van dodelijke beslissingen. Dergelijke critici beweren dat in tegenstelling tot een mens die richt en de trekker van een geweer overhaalt, LAWS hun eigen doelwitten kunnen kiezen en beschieten. Daarin schuilt volgens hen het specifieke gevaar van deze systemen, dat onvermijdelijk fouten zal maken, zoals iedereen wiens gezicht wel eens niet herkend werd door zijn of haar iPhone, zal erkennen.
Naar mijn mening gaat her er niet om dat autonome systemen de mens verwijderd van dodelijke beslissingen. Voor zover dit soort wapens fouten maken, dragen mensen nog altijd de morele verantwoordelijkheid voor het inzetten van dergelijke imperfecte dodelijke systemen. LAWS worden ontwikkeld en ontplooid door mensen, die bijgevolg verantwoordelijk blijven voor hun effecten.
Net zoals in het geval van de hedendaagse semi-autonome drones (die vaak bestuurd worden van een halve wereldbol verderop), elimineren autonome wapensystemen de menselijke morele verantwoordelijkheid niet. Ze vergroten alleen de afstand tussen de moordenaar en het doelwit.
Net zoals andere, reeds verboden wapens, waaronder chemische en biologische wapens, hebben deze systemen bovendien het vermogen om zonder onderscheid te doden. Terwijl ze de menselijke verantwoordelijkheid niet wegnemen, zullen ze -eenmaal geactiveerd- zeker aan de menselijke controle ontsnappen, net zoals gifgas of een als wapen geïnstrumentaliseerd virus.
Het gebruik van LAWS zou voorkomen kunnen worden door internationale wetgeving.
En net als met chemische, biologische en nucleaire wapens zou het gebruik ervan effectief voorkomen kunnen worden door internationale wetgeving en verdragen. Het is waar dat malafide actoren, zoals het Assad-regime in Syrië of het VS-leger in de Iraakse stad Fallujah, deze restricties occasioneel kunnen schenden, maar over het algemeen houden de verboden op het gebruik van bepaalde potentieel verwoestende wapentuigen stand, in sommige gevallen al langer dan eeuw.
Aangezien tegenstanders onvermijdelijk LAWS zullen ontwikkelen, beweren sommige Amerikaanse defensie-experten dat het gezond verstand vereist dat de VS hetzelfde doet. Ze suggereren dat de beste verdediging tegen een bepaald wapensysteem, een identiek systeem is. Dat is even onlogisch als het bestrijden van vuur met vuur, terwijl water in de meeste gevallen de betere optie is.
Conventie inzake Bepaalde Conventionele Wapens
Het gebied van het internationaal recht dat de behandeling van mensen in oorlog regelt, wordt om historische redenen internationaal humanitair recht (IHR) genoemd. In 1995 ratificeerde de Verenigde Staten een aanvulling op het IHR: de VN Conventie inzake Bepaalde Conventionele Wapens uit 1980. (De volledige naam is veel langer, maar wordt over het algemeen afgekort als CCW.)
De CCW beoogt het verbod of de beperking van conventionele wapens die buitensporig letsel veroorzaken of niet doelgericht ingezet kunnen worden, zoals brandgevaarlijke wapens (bijvoorbeeld napalm), evenals biologische en chemische middelen. De ondertekenaars van de CCW komen geregeld bijeen om te bespreken welke andere wapensystemen onder hun jurisdictie en verbodsbepalingen kunnen vallen, zoals LAWS.
De meest recente conferentie vond plaats in december 2021. Hoewel er transcripties van het gebeuren bestaan, werd er alleen een ontwerpslotdocument vrijgegeven dat geproduceerd werd voor de conferentie van start ging. Dat kan zijn omdat er zelfs geen consensus bereikt werd over de definitie van dergelijke systemen, laat staan over de vraag of ze verboden zouden moeten worden.
De Europese Unie, de VN en ten minste 50 ondertekende landen en (volgens de peilingen) de meerderheid van de wereldbevolking zijn van mening dat autonome wapensystemen verboden moeten worden. De VS, Israël, het Verenigd Koninkrijk en Rusland zijn het daar niet mee eens, samen met nog een aantal andere uitbijters.
De EU, de VN en ten minste 50 landen die het CWW ondertekenden zijn van mening dat LAWS verboden moeten worden.
Voorafgaand aan dergelijke CCW-meetings komt een ‘Group of Government Experts’ (GGE) samen, kennelijk om technische begeleiding te bieden voor de beslissingen die gemaakt moeten worden door de verdragsluitende partijen. In 2021 kon de GGE niet tot een consensus komen over het al dan niet verbieden van LAWS. De Verenigde Staten was van mening dat zelfs het definiëren van dodelijke autonome wapens niet nodig was (misschien omdat ze eenmaal gedefinieerd, verboden zouden kunnen worden).
De VS-delegatie verwoordde het als volgt: “De Verenigde Staten heeft zijn standpunt uitgelegd dat er geen werkdefinitie moet worden vastgelegd met het oog op het beschrijven van wapens die verboden zouden moeten worden. Het zou -zoals sommige collega’s al hebben opgemerkt- zeer moeilijk zijn om hieromtrent een consensus te bereiken en zou contraproductief zijn. Omdat er niets intrinsiek is aan autonome capaciteiten dat een wapen verboden zou moeten maken onder het IHR, zijn we er niet van overtuigd dat het verbieden van wapens gebaseerd op de gradatie van autonomie, zoals onze Franse collega’s hebben voorgesteld, een bruikbare benadering is”.
De VS-delegatie was er evenzeer op gebrand om elke verwoording te elimineren die ‘menselijke controle’ over dergelijke wapensystemen zou vereisen: “Naar onze mening stelt het IHR ‘menselijke controle’ niet als een vereiste op zich… Het introduceren van nieuwe en vage vereisten zoals die van menselijke controle zou, geloven we, eerder verwarren dan verduidelijken, zeker als deze voorstellen niet in overeenstemming zijn met reeds lang bestaande en aanvaarde praktijken bij het gebruik van gewone wapens met autonome functies.”
In dezelfde meeting insisteerde deze delegatie herhaaldelijk dat dodelijke autonome wapens eigenlijk goed zouden zijn voor ons, omdat ze zeker beter zouden zijn dan mensen in het maken van een onderscheid tussen burgers en strijders.
Oh, en als je gelooft dat de bescherming van burgers de reden is dat de wapenindustrie miljarden dollars investeert in het ontwikkelen van autonome wapens, dan heb ik voor een goed prijsje een stukje grond te koop voor jou op Mars.
Stop Killer Robots
De GGE heeft ook ongeveer 35 niet-gouvernementele leden, waaronder NGO’s en universiteiten. Eén van hen is de ‘Campaign to Stop Killer Robots’, een coalitie van 180 organisaties, waaronder Amnesty International, Human Rights Watch en de Wereldraad van Kerken.
Deze levendige groep, gelanceerd in 2013, voorziet belangrijke informatie over de technische, wettelijke en ethische kwesties die LAWS met zich meebrengen en biedt andere organisaties en individuen een manier om zich in te schakelen in de strijd om dergelijke potentieel vernietigende wapensystemen te verbieden.
De voortzetting van de constructie en inzet van killer robots is niet onafwendbaar. Een groot deel van de wereld zou ze namelijk graag verboden zien, inclusief VN Secretaris-generaal Antonio Guterres. Laten we hem het laatste woorden geven: “Machines met de macht en discretie om mensenlevens te nemen zonder menselijke betrokkenheid, zijn politiek onaanvaardbaar, moreel verwerpelijk en zouden verboden moeten worden onder het internationaal recht”.
Ik ben het hartsgrondig met hem eens.
Dit artikel verscheen eerder op TomDispatch.
