Stan AI: Wojna zmieni się na zawsze
Witamy z powrotem w The State of AI, nowej współpracy między Financial Times a MIT Technology Review. Każdego poniedziałku pisarze z obu wydawnictw debatują na temat jednego aspektu rewolucji w generatywnym AI, która zmienia globalną władzę.
W tej rozmowie Helen Warrell, reporterka śledcza FT i była redaktorka ds. obrony i bezpieczeństwa, oraz James O’Donnell, starszy reporter ds. AI w MIT Technology Review, rozważają dylematy etyczne i zachęty finansowe związane z wykorzystaniem AI przez wojsko.
Helen Warrell, FT reporterka śledcza
To lipiec 2027 roku, a Chiny stoją na krawędzi inwazji na Tajwan. Autonomiczne drony z możliwościami celowania opartymi na AI są gotowe do pokonania obrony powietrznej wyspy, podczas gdy seria paraliżujących cyberataków generowanych przez AI odcina dostawy energii i kluczowe środki komunikacji. Tymczasem ogromna kampania dezinformacyjna realizowana przez farmę memów prochińską wspieraną przez AI rozprzestrzenia się po globalnych mediach społecznościowych, tłumiąc oburzenie na akt agresji Pekinu.
Takie scenariusze wniosły dystopijny horror do debaty na temat wykorzystania AI w wojnie. Dowódcy wojskowi mają nadzieję na cyfrowo wzmocnioną siłę, która jest szybsza i dokładniejsza niż walka kierowana przez człowieka. Ale istnieją obawy, że gdy AI przejmie coraz bardziej centralną rolę, ci sami dowódcy stracą kontrolę nad konfliktem, który eskaluje zbyt szybko i brakuje mu etycznego lub prawnego nadzoru. Henry Kissinger, były sekretarz stanu USA, spędził swoje ostatnie lata ostrzegając przed nadciągającą katastrofą wojny napędzanej AI.
Zrozumienie i łagodzenie tych ryzyk jest priorytetem wojskowym — niektórzy powiedzą „momentem Oppenheimera” — naszych czasów. Jednym z wschodzących konsensusów na Zachodzie jest to, że decyzje dotyczące rozmieszczania broni jądrowej nie powinny być zlecane AI. Sekretarz generalny ONZ António Guterres poszedł dalej, wzywając do całkowitego zakazu w pełni autonomicznych systemów broni śmiertelnej. Kluczowe jest, aby regulacje nadążały za ewoluującą technologią. Ale w sci-fi-fueled podnieceniu łatwo stracić z oczu to, co jest naprawdę możliwe. Jak wskazują badacze z Belfer Center na Harvardzie, optymiści AI często niedoszacowują wyzwań związanych z wprowadzeniem w pełni autonomicznych systemów broni. Jest całkowicie możliwe, że możliwości AI w walce są przesadzone.
Anthony King, dyrektor Instytutu Strategii i Bezpieczeństwa na Uniwersytecie w Exeter i kluczowy zwolennik tego argumentu, sugeruje, że zamiast zastępować ludzi, AI będzie używane do poprawy wglądu wojskowego. Nawet jeśli charakter wojny się zmienia i technologia zdalna doskonali systemy broni, on upiera się, że „całkowita automatyzacja samej wojny to po prostu iluzja”.
Spośród trzech obecnych zastosowań wojskowych AI żadne nie obejmuje pełnej autonomii. Jest rozwijane do planowania i logistyki, cyberwojny (w sabotażu, szpiegostwie, hakingu i operacjach informacyjnych) oraz — najbardziej kontrowersyjnie — do celowania bronią, zastosowanie już używane na polach bitewnych Ukrainy i Gazy. Wojska Kijowa używają oprogramowania AI do kierowania dronami zdolnymi do omijania rosyjskich jammerów, gdy zbliżają się do wrażliwych miejsc. Siły Obronne Izraela opracowały system wsparcia decyzyjnego wspieranego przez AI znany jako Lavender, który pomógł zidentyfikować około 37 000 potencjalnych ludzkich celów w Gazie.
Istnieje wyraźnie niebezpieczeństwo, że baza danych Lavender reprodukuje uprzedzenia danych, na których jest trenowana. Ale personel wojskowy również ma uprzedzenia. Jeden z izraelskich oficerów wywiadu, który używał Lavendery, twierdził, że ma większe zaufanie do uczciwości „mechanizmu statystycznego” niż do żołnierza pogrążonego w żalu.
Optymiści technologiczni projektujący broń AI nawet zaprzeczają, że potrzebne są konkretne nowe kontrole do kontrolowania ich możliwości. Keith Dear, były brytyjski oficer wojskowy, który teraz prowadzi firmę prognozowania strategicznego Cassi AI, mówi, że istniejące prawa są więcej niż wystarczające: „Upewniasz się, że w danych treningowych nie ma nic, co mogłoby spowodować, że system zbuntuje się … gdy jesteś pewny, wdrażasz go — i ty, dowódca ludzki, odpowiadasz za wszystko, co mogą zrobić źle”.
To intrygująca myśl, że część strachu i szoku przed użyciem AI w wojnie może pochodzić od tych, którzy nie są zaznajomieni z brutalnymi, ale realistycznymi normami wojskowymi. Co myślisz, James? Czy część opozycji wobec AI w wojnie dotyczy mniej użycia autonomicznych systemów, a naprawdę jest argumentem przeciwko samej wojnie?
James O’Donnell odpowiada:
Cześć Helen,
Jedno, co zauważyłem, to drastyczna zmiana postaw firm AI wobec wojskowych zastosowań ich produktów. Na początku 2024 roku OpenAI jednoznacznie zabraniało używania swoich narzędzi do wojennych celów, ale do końca roku podpisało umowę z Anduril, aby pomóc w zestrzeliwaniu dronów na polu bitwy.
Ten krok — nie w pełni autonomiczna broń, to pewne, ale zdecydowanie wojskowe zastosowanie AI — oznaczał drastyczną zmianę w tym, jak bardzo firmy technologiczne mogą publicznie łączyć się z obroną.
Co wydarzyło się po drodze? Po pierwsze, to szum. Mówi się nam, że AI nie tylko przyniesie superinteligencję i odkrycia naukowe, ale także uczyni wojnę ostrzejszą, dokładniejszą i bardziej wyrachowaną, mniej podatną na ludzkie omylności. Rozmawiałem na przykład z marines USA, którzy testowali rodzaj AI podczas patrolowania południowego Pacyfiku, reklamowanego jako zdolny do analizy obcego wywiadu szybciej niż człowiek.
Po drugie, pieniądze mówią głośno. OpenAI i inni muszą zacząć odzyskiwać część nie wyobrażalnych kwot gotówki, które wydają na trenowanie i uruchamianie tych modeli. A niewiele ma głębsze kieszenie niż Pentagon. I europejscy szefowie obrony wydają się chętni do wydawania pieniędzy. Tymczasem kwota kapitału venture capital na technologie obronne w tym roku już podwoiła całkowitą kwotę za cały 2024 rok, gdy VC mają nadzieję zarobić na nowo nabytej gotowości armii do kupowania od startupów.
Myślę, że opozycja wobec wojny z AI dzieli się na kilka obozów, z których jeden po prostu odrzuca ideę, że bardziej precyzyjne celowanie (jeśli jest rzeczywiście bardziej precyzyjne) oznacza mniej ofiar, a nie po prostu więcej wojny. Rozważ pierwszą erę wojny dronowej w Afganistanie. Gdy ataki dronów stały się tańsze w realizacji, czy możemy naprawdę powiedzieć, że zmniejszyły one masakry? Zamiast tego, czy nie umożliwiły po prostu więcej zniszczeń za dolara?
Ale drugi obóz krytyki (i teraz w końcu dochodzę do twojego pytania) pochodzi od ludzi, którzy dobrze znają realia wojny, ale mają bardzo konkretne skargi na fundamentalne ograniczenia technologii. Missy Cummings na przykład jest byłą pilotką myśliwców Marynarki Wojennej USA, obecnie profesorką inżynierii i informatyki na George Mason University. Była bardzo wokalna w swoim przekonaniu, że duże modele językowe, konkretnie, są podatne na popełnianie ogromnych błędów w warunkach wojskowych.
Typowa odpowiedź na tę skargę brzmi, że wyjścia AI są sprawdzane przez człowieka. Ale jeśli model AI opiera się na tysiącach danych wejściowych dla swojego wniosku, czy ten wniosek naprawdę może być sprawdzony przez jedną osobę?
Firmy technologiczne składają niezwykle wielkie obietnice co do tego, co AI może zrobić w tych wysokiego ryzyka zastosowaniach, podczas gdy presja na ich wdrożenie jest ogromna. Dla mnie oznacza to czas na więcej sceptycyzmu, a nie mniej.
Helen odpowiada:
Cześć James,
Powinniśmy zdecydowanie kontynuować kwestionowanie bezpieczeństwa systemów wojennych AI i nadzoru, któremu podlegają — i pociągać liderów politycznych do odpowiedzialności w tej dziedzinie. Sugeruję, że zastosujmy również sceptycyzm do tego, co słusznie opisujesz jako „niezwykle wielkie obietnice” składane przez niektóre firmy co do tego, co AI może osiągnąć na polu bitwy.
Będą zarówno okazje, jak i zagrożenia w tym, co wojsko jest oferowane przez stosunkowo młody (choć kwitnący) sektor technologii obronnych. Niebezpieczeństwo polega na tym, że w szybkości i tajemnicy wyścigu zbrojeń w broń AI te wschodzące możliwości mogą nie otrzymać pilnie potrzebnego przeszukania i debaty.
Dalsze czytanie:
Michael C. Horowitz, dyrektor Perry World House na Uniwersytecie Pensylwanii, wyjaśnia potrzebę odpowiedzialności w rozwoju wojskowych systemów AI w tym artykule opinii FT.
Podcast technologiczny FT pyta, co ekosystem technologii obronnych Izraela może nam powiedzieć o przyszłości wojny
Ten artykuł MIT Technology Review analizuje, jak OpenAI dokonało zwrotu w kierunku zezwalania na swoją technologię na polu bitwy.
MIT Technology Review również ujawniło, jak żołnierze USA używają generatywnego AI do pomocy w przeglądaniu tysięcy kawałków otwartego wywiadu.
Źródło: MIT Technology Review
Dlaczego to ważne? Rozumienie etycznych dylematów i finansowych zachęt związanych z wykorzystaniem AI w wojsku jest kluczowe, ponieważ pozwala uniknąć niekontrolowanej eskalacji konfliktów, jak w hipotetycznym scenariuszu inwazji Chin na Tajwan z autonomicznymi dronami i cyberatakami. Praktyczne podejście oznacza żądanie przejrzystości w kontraktach militarnych oraz regulacji, które priorytetyzują ludzką kontrolę nad decyzjami zabójczymi. To chroni nie tylko globalne bezpieczeństwo, ale też innowacje AI przed militaryzacją, zachowując ich pokojowy potencjał.
Źródło: henryakissinger.com
