De technologie van AI in het militaire domein en autonome AI-wapens ontwikkelen zich sneller dan de internationale regels en veiligheidswaarborgen, waardoor de wereld het risico loopt dat machines steeds meer beslissingen over leven en dood nemen zonder voldoende menselijke controle.
In de kranten en andere media is bijna elke dag te lezen hoe artificiële generatieve intelligentie (AI), zeker in combinatie met drones en ander wapentuig, de hedendaagse oorlogsvoering ingrijpend verandert. Staten die momenteel in oorlog zijn, zoals Oekraïne, Rusland, Israël, Iran en de VS, verfijnen op basis van hun oorlogservaringen en hun onophoudelijke dataverzameling over het slagveld, het militaire gebruik van AI.
Dit kan uiteindelijk leiden tot een volledig automatische ‘kill chain’ (dodelijke keten) waarbij elke menselijke tussenkomst verdwenen is van het verwerken van informatie, het detecteren van doelwitten, beslissen en handelen tot de analyse van het resultaat achteraf. Fouten ten gevolge van AI-’hallucinaties’ worden dan weggewuifd als de ‘collateral damage’ die bij elke oorlog voorkomt.
Dat militaire AI-ontwikkelingen daarnaast de wapenwedloop op het gebied van atoomwapens kunnen aanzwengelen in tijden waarin internationale verdragen inzake wapenbeheersing en -afbouw naar de prullenmand worden verwezen, is des te onheilspellend.
Met de opmerkelijke opkomst van internationaal machtige AI-techbedrijven, zoals Zuckerbergs ‘Meta’, Musks ‘xAI’ en Google’s AI-divisie ‘DeepMind’, in de kapitaalkrachtige sector van de wapenproductie en militaire innovatie, hebben ze definitief hun intrede gedaan in het militair-industrieel complex (MIC).
Sommige deskundigen en media, zoals ‘Bulletin of the Atomic Scientists’ en ‘The New York Times’ omschrijven een militair-industrieel-technologisch complex en hebben het over militaire techbedrijven. Voeg aan die verwevenheid van de militaire sector met de machtigste AI-bedrijven, de medeplichtigheid van de academische wereld toe (voor onderzoek, innovatie en ontwikkeling) en we komen tot het zeer gevaarlijke militair-industrieel-technologisch-academisch complex (MITAC). Over het MITAC verscheen op de Vrede-site reeds een grondig dossier in meerdere delen.
Gelukkig groeit het besef dat deze gevaarlijke samenwerking, maar ook de bredere ontwikkelingen rond AI dringend gereguleerd moeten worden. De technologie ontwikkelt zich immers een pak sneller dan de internationale regels en veiligheidswaarborgen.
De Verenigde Naties (VN) buigen zich nog niet zo lang over de risico’s en de nood aan regulering van AI in het militaire domein. De Algemene Vergadering behandelde dit onderwerp pas voor het eerst als een afzonderlijk thema tijdens haar 79e zitting, in 2024. Daarnaast wordt wel al ruim tien jaar, onder meer binnen het VN-Verdrag inzake Bepaalde Conventionele Wapens (CCW), onderhandeld over de risico’s en mogelijke controle op, beperking van en een eventueel verbod op dodelijke autonome wapensystemen (‘lethal autonomous weapons systems’ – LAWS). Tot dusver heeft dit echter niet geleid tot een juridisch bindend internationaal instrument.
Begin juli publiceerde de VN wel haar belangrijke Voorlopige Rapport van het Onafhankelijk Internationaal Wetenschappelijk Panel inzake AI over de kansen, de risico’s en de impact van AI in het algemeen. Er wordt in gewaarschuwd voor de mogelijke schadelijke gevolgen van AI, bijvoorbeeld dat de technologie de ongelijkheid in de wereld kan verergeren of dat ze kan leiden tot machtsconcentratie, maar er wordt ook ingegaan op de mogelijkheden die AI biedt. Het rapport pleit samenvattend voor een samenleving die ervoor zorgt dat de ontwikkeling en de toepassingen van AI worden omgeven door voldoende kennis, publiek toezicht, menselijke controle, eerlijke toegang en effectieve regelgeving. Er is in het rapport echter geen letter over het militaire gebruik van AI te vinden. De opdracht van het wetenschappelijk panel sloot militaire AI dan ook expliciet uit.
Nochtans groeit wereldwijd het besef dat de snelle ontwikkeling en inzet van AI in het militaire domein niet zonder duidelijke ethische en juridische grenzen kan worden gelaten, wat inmiddels tot uiteenlopende internationale initiatieven en oproepen tot regulering heeft geleid.
Nobelprijswinnaarsbijeenkomst
In mei was er de opmerkelijke encycliek van paus Leo XIV, ‘Magnifica Humanitas’ (Grootsheid van de mensheid). De encycliek houdt een doordacht pleidooi, niet om AI af te schaffen, maar wel om haar te “ontwapenen” door AI in oorlogvoering aan zeer strenge ethische beperkingen te onderwerpen, dodelijke of anderszins onomkeerbare beslissingen niet toe te vertrouwen aan AI-systemen en een internationaal kader te creëren om de technologische wapenwedloop af te remmen. De paus wil AI daarentegen ten dienste stellen van de mens en het algemeen welzijn. Hij benadrukt daarbij de noodzaak van een open maatschappelijk debat, sociale rechtvaardigheid, een robuuste regulering van AI en het aan banden leggen van de enorme macht van private techbedrijven.
Het terrein van de pauselijke villa’s in Castel Gandolfo, nabij Rome, was de uitgelezen plaats voor de ‘Global Nobel Laureates Assembly on Artificial Intelligence and Nuclear War’, die doorging van 14 tot 16 juli. Nobelprijswinnaars, experten, wetenschappers, religieuze leiders, voormalige regeringsleiders en vertegenwoordigers van de AI-sector kwamen er bijeen met een dubbele doelstelling: onderzoeken welke nieuwe existentiële risico’s voortvloeien uit de combinatie van AI en kernwapens, én het vergroten van het publieke bewustzijn en de maatschappelijke steun om de gevaren van deze combinatie terug te dringen.
Gedurende twee dagen werden in Castel Gandolfo acht AI-gerelateerde thema’s besproken, zoals het AI-gebruik in militaire systemen, waaronder systemen voor de commandovoering en controle van kernwapens, en de praktische en ethische uitdagingen rond het beperken van de gevaren voor de mensheid die de combinatie van AI en kernwapens oplevert. Op 16 juli, de derde en laatste dag van de bijeenkomst, verhuisde de deelnemers naar het Capitool (Campidoglio) in Rome om onderstaande verklaring te ondertekenen. Ook Vrede vzw heeft die inmiddels onderschreven.
De bijeenkomst was een opvolger van de ‘Nobel Laureate Assembly for the Prevention of Nuclear War’, die vorig jaar plaatsvond aan de universiteit van Chicago en eindigde met een oproep aan politieke leiders om het gevaar op een atoomoorlog te verminderen. Ook dit jaar, in Rome, sloot de internationale bijeenkomst af met een verklaring die werd goedgekeurd door de talrijke deelnemers: ‘De mensheid op een keerpunt: een verklaring over kunstmatige intelligentie en kernwapens’ (‘Humanity at the Threshold: A Declaration on Artificial Intelligence and Nuclear Weapons’).
De tekst die volgt is de integrale vertaling van deze Rome-verklaring. (Wie meer wil weten over AI in het militaire domein, verwante ontwikkelingen en mogelijke strijdpunten, eisen en beleidsvoorstellen van de vredesbeweging inzake het militair gebruik van AI, verwijzen we graag door naar het laatste deel van ons dossier over AI en het MIAC.)
De Rome-verklaring
Preambule
De mensheid staat op een scharniermoment in haar geschiedenis.
Meer dan tachtig jaar sinds het aanbreken van het nucleaire tijdperk, en op de drempel van het tijdperk van de artificiële intelligentie, staan we voor een ongekende uitdaging. Nooit eerder heeft wetenschappelijke vooruitgang zulke buitengewone mogelijkheden geboden en tegelijkertijd zulke ingrijpende risico's voor onze gezamenlijke toekomst gecreëerd.
Toen kernwapens voor het eerst werden ontwikkeld, had de wereld een kans om te voorkomen dat we in een permanente dynamiek van angst zouden moeten leven. We faalden, en als gevolg daarvan leeft de mensheid sindsdien op de rand van een nucleaire vernietiging.
Ook bij AI doemt een vergelijkbaar gevaar op. In nucleaire systemen ingebouwde AI laat in een crisissituatie nauwelijks tijd over voor menselijk oordeel, of vervangt die zelfs. Deze technologie verandert de context waarin kernwapenstaten concurreren met elkaar. AI zal waarschijnlijk leiden tot grootschalig banenverlies en zal de economische concurrentie tussen nucleair bewapende staten heviger maken. AI zal de gevolgen vergroten van cyberaanvallen die vitale civiele en strategische infrastructuur kunnen ontwrichten. AI faciliteert informatieoorlogvoering: Vrede berust op een gedeelde realiteit. Zonder feiten kan er geen waarheid zijn; zonder waarheid kan er geen vertrouwen zijn en zonder vertrouwen, geen dialoog, geen verificatie en geen terughoudendheid tussen naties.
De meest geavanceerde AI-capaciteiten, computationele middelen en data-infrastructuren raken steeds meer geconcentreerd bij een klein aantal landen en bedrijven, waardoor aanzienlijke machtsasymmetrieën ontstaan en er weinig prikkels zijn voor samenwerking. AI is een technologie die economische, militaire en sociale ontwrichting veroorzaakt en zich ontwikkelt in een tempo dat ongekend is in de menselijke geschiedenis.
Te midden van een verergerende nucleaire wapenwedloop zetten we koers naar een even gevaarlijke AI-wedloop.
Paus Leo XIV, die zich beroept op waarden die over religieuze tradities heen gedeeld worden, heeft de mensheid opgeroepen tot een "onbewapende en ontwapenende vrede". Wij verwerpen het idee dat duurzame veiligheid kan worden gebouwd op angst, overheersing of de permanente dreiging van wederzijdse vernietiging. Veiligheid kan niet oneindig berusten op de realiteit van wederzijdse vernietiging.
Bewust van onze gedeelde verantwoordelijkheid tegenover huidige en toekomstige generaties, nemen wij de volgende principes aan:
1. Ontwapenen van de volgende wapenwedloop
We erkennen dat AI een arena van strategische concurrentie is, net als kernwapens dat daarvoor waren. Wij roepen overheden, de technologische voorhoede van AI-ontwikkelaars, onderzoekers en de internationale gemeenschap op om nu te handelen, via bestuurlijke regelingen zoals mechanismen voor het delen van de voordelen, de bevordering van AI-toepassingen die het menselijk welzijn dienen, en terughoudendheid bij de meest destabiliserende toepassingen ervan, om deze risico’s te verminderen zolang de keuze nog aan ons is. We moeten de volgende wapenwedlopen ontwapenen -zowel AI als nucleair- voordat ze de volgende eeuw ook gaan bepalen.
2. Verantwoorde ontwikkeling
AI-ontwikkelaars zouden de principes die het gedrag van hun modellen sturen transparant moeten publiceren en verantwoordelijk en aansprakelijk worden gesteld voor de naleving van die principes door hun modellen. AI zou moeten worden ontwikkeld en gemonitord in overeenstemming met de belangen van de mensheid, met inbegrip van het internationaal recht en de eerbiediging van de mensenrechten.
Bovendien zou geen enkele organisatie volledig geautomatiseerde recursieve zelfverbetering in AI-systemen mogen initiëren, en zou geen enkele regering volledig geautomatiseerde recursieve zelfverbetering in AI-systemen mogen toestaan zonder de middelen om dergelijke systemen te monitoren en, indien nodig, stop te zetten.
3. Verantwoord gebruik van AI
Een geautomatiseerd systeem zou nooit de uiteindelijke beslissing mogen nemen om een kernwapen te lanceren. Wij roepen op tot de aanneming van een internationaal verdrag dat de roekeloze integratie van artificiële intelligentie in nucleaire commando-, controle- en lanceersystemen verbiedt, zodat betekenisvolle menselijke controle wordt gehandhaafd.
We moeten het kwaadwillige gebruik van artificiële intelligentie in cyberoperaties en aanvallen op kritieke nucleaire infrastructuur voorkomen. Kernwapenstaten moeten ‘fail safe’-maatregelen uitvoeren om de kwetsbaarheid van hun nucleaire arsenalen voor ongeautoriseerde controle of manipulatie door AI te verminderen.
Wij beogen de verantwoorde ontwikkeling en het verantwoorde gebruik van artificiële intelligentie om het menselijk welzijn te verbeteren, wetenschappelijke en medische vooruitgang te versnellen, het milieu te beschermen, de weerbaarheid te versterken en vrede, duurzame ontwikkeling en het algemeen belang te bevorderen.
4. Verantwoorde ‘governance’
Wij roepen overheden, bedrijven en internationale organisaties op ervoor te zorgen dat de ontwikkeling van grensverleggende AI gecoördineerd kan worden vertraagd door gedeelde mechanismen op te zetten, zoals verificatie en grondige interne en externe evaluaties.
Wij steunen het Onafhankelijk Internationaal Wetenschappelijk Panel van de Verenigde Naties voor AI en de bevordering van andere initiatieven in de geest van Magnifica Humanitas.
Wij roepen op tot uitgebreider onderzoek en meer dialoog om nieuwe institutionele wegen voor de internationale ‘governance’ van AI en de toekomstige implementatie van mondiale governance-initiatieven voor te stellen. (Governance betekent hier het geheel van internationale manieren om AI in goede banen te leiden: regels en regulering, maar ook afspraken tussen staten, toezicht, verificatie, internationale instellingen en besluitvormingsmechanismen, nvdr.)
5. Verantwoord leiderschap
Wij erkennen dat de uitdagingen waarmee we geconfronteerd worden naar verwachting door de volgende generatie leiders zullen worden opgelost. Jongeren moeten in staat worden gesteld om zich te verdiepen in nucleaire, AI- en andere potentieel catastrofale bedreigingen, via onderwijs, mentorschap, intergenerationele samenwerking en inclusieve participatie in alle regio's, culturen en gemeenschappen.
Wij moeten onderwijsinitiatieven bevorderen die ethische verantwoordelijkheid, kritisch denken, media- en AI-geletterdheid, en een cultuur van vrede stimuleren.
Wij erkennen dat de mensheid wordt geconfronteerd met talrijke onderling verbonden bedreigingen, waarvan de onbedoelde gevolgen vaak degenen treffen die geen toegang hebben tot of controle hebben over dergelijke technologieën. Wij pleiten voor een gemeenschappelijk digitale data-ruimte (‘digital commons’) waarin gegevens worden verzameld om kennis en actie rond kernwapens, ongereguleerde AI en andere existentiële bedreigingen te bevorderen.
6. Nucleaire ontwapening
Wij roepen op om dringende, duurzame onderhandelingen te voeren, te goeder trouw, die binnen een overeengekomen en tijdsgebonden kader, leiden tot de verifieerbare en onomkeerbare afschaffing van kernwapens. De internationale gemeenschap moet de normalisering van kernwapens als permanente veiligheidsinstrumenten verwerpen en de humanitaire en juridische normen versterken die zijn vervat in het Verdrag inzake de Non-proliferatie van Kernwapens en het Verdrag inzake het Verbod op Kernwapens.
Wij roepen kernwapenstaten op om de hernieuwde wapenwedloop en de uitbreiding van hun arsenalen te staken, de bilaterale en multilaterale onderhandelingen over wapenbeheersing en ontwapening te hervatten, en hun verplichtingen en engagementen uit hoofde van het internationaal recht na te komen.Staten zouden moeten streven naar verifieerbare beperkingen en reducties van hun kernwapenarsenalen; een verlaging van de nucleaire paraatheid; een verlenging van de beslissingstijd over de inzet van kernwapens; het afstappen van een beleid waarbij in het geval van een waarschuwing onmiddellijk een kernwapen wordt gelanceerd, evenals van een beleid dat direct een nucleaire vergelding lanceert in het geval van een aanval; de vermindering van de rol van kernwapens in veiligheidsdoctrines; de versterking van crisiscommunicatie; het voorkomen van cyberoperaties tegen nucleaire commando-, controle en communicatie; en het opbouwen van samenwerking om misverstanden, verkeerde inschattingen en onbedoelde escalatie te voorkomen.
Kernwapenstaten moeten beleid en doctrines bevorderen die de rol van kernwapens terugdringen en de kans op het als eerste inzetten van kernwapens (‘first use’) en catastrofale oorlog verkleinen.
De Rome-verklaring sluit af met een citaat van Bertrand Russell en Albert Einstein: “Wij richten ons als mensen op mensen: herinner u uw menselijkheid en vergeet de rest.”
