版權歸原作者所有，如有侵權，請聯系我們

在俄羅斯和烏克蘭的沖突中，最近爆出的一段視頻引人關注：烏克蘭無人機深入到距離邊境1000多公里的俄羅斯境內，摧毀了俄方石油和天然氣基礎設施。專家分析稱，這很可能是人工智能在指揮無人機攻擊目標。烏方軍事指揮官也表示，烏克蘭“已經在沒有人工干預的情況下，開展完全機器人化的行動”。

也就是說，這類人工智能武器系統可以在沒有人類干預的情況下，自主選擇和攻擊目標。事實上，人工智能在戰爭中的應用遠比我們想象中簡單得多：現有的人工智能和機器人技術完全可以提供合適的物理平臺，這類系統找到人類目標并殺死他們的技術難度，甚至比開發自動駕駛汽車要容易得多，是研究生就能搞定項目。

因此一些觀察家擔心，未來任何派別都可能派遣成群的廉價人工智能無人機，利用面部識別技術消滅特定的人。更要命的是，如果我們把殺戮按鈕交給機器，將徹底改變戰爭的性質。也因此，致命性自主武器系統被認為是繼火藥和核武器之后的第三次戰爭革命。

4月29日，在維也納舉行的關于自主武器系統的首次國際會議上，奧地利聯邦歐洲和國際事務部長亞歷山大·沙倫貝格（Alexander Schallenberg）強調，“我相信，這是我們這代人的奧本海默時刻?！?/p>

撰文 | Ren

戰爭，就像人類文明永遠無法擺脫的陰影。如今，這場一直由人類當主角的血腥游戲，正在被人工智能（AI）所接管。

無論是俄烏沖突，還是以巴以沖突為首的中東地區戰亂，AI的影子都依稀可見：它（在人類的監督下）操控著無人機、導彈、槍械、地雷等武器，識別打擊目標并發動攻擊。

這是我們第一次深刻地體會到AI的兩面性，它既能造福人類，也能在瞬息之間奪走人類的生命。很遺憾，我們來不及為逝者哀哭，在軍事領域，這種規模的AI應用只是一個開始。

我們即將看到的是，一場AI軍備大賽正緩緩拉開大幕，武器將變得越來越智能和自主，人類將慢慢退出它們的決策過程，直到致命自主武器系統（Lethal Autonomous Weapons systems，LAWs）出現并被部署到戰場上。

我們并未準備好面對這一切。當有一天AI武器能夠自主出擊，當無數人的生死僅憑一行代碼就能決定，你是否能接受自己的命運被交由冰冷的算法做出判決？

所有人都應該明白，讓算法決定一個人的生死是一個糟糕透頂的主意。幸運的是，我們還有時間來阻止這一切變成現實；不幸的是，時間不多了。

遠程操作VS自主決策

按照美國國防部的定義，根據人類所發揮作用的不同，武器的自主級別可以分為“人在環中”“人在環上”“人在環外”三種：

人在環中，武器的行動完全由人來決策和控制；

人在環上，武器激活后可以按照指令自主決策和行動，人可以監督并按需隨時介入接管決策權和控制權；

人在環外，武器激活后會被指定行動目標，之后完全自主決策和實施行動。

好消息是，就目前已知的情況來看，還沒有真正意義上的“（人在環外的）致命自主武器系統”被投入使用。根據聯合國的說法，它們是“在沒有人類監督的情況下定位、選擇和攻擊人類目標的武器”。

這里所討論的不是由人類遠程操控的武器，比如大名鼎鼎的美國“捕食者”無人機，或者烏克蘭前線士兵自制的投彈無人機，可以在人類的操控下遠程投擲手榴彈。

隨著人們對這些武器的認知逐漸加深，加上電子干擾技術的進步，它們的打擊效果將變得越來越弱。因此，一些國家和企業將目光投向了無人機等自主武器的研發。

美國國防部高級研究計劃局（DARPA）曾經公布過兩項計劃，透露了其自主武器系統的計劃用途：快速輕量級自主（FLA）和干擾環境中的協同操作（CODE）。前者將對微型旋翼機進行編程，使其能夠在無人輔助的情況下在城市地區和建筑物內高速飛行。后者的目標是開發自主飛行器小組，在敵方信號干擾導致無法與人類指揮官通信的情況下，執行打擊任務的所有步驟——發現、確定、跟蹤、瞄準、交戰、評估。

其他國家也有相關的武器研發。自2017年以來，土耳其一家名為STM的公司一直在銷售Kargu無人機，該無人機只有餐盤大小，可攜帶1公斤炸藥。根據該公司 2019 年的網站描述，該無人機能夠“自主且精確”地打擊車輛和人員，“在圖像上選擇目標”并“跟蹤移動目標”。

以色列的Harpy 無人機可以在一個地區上空飛行數小時，尋找與視覺或雷達信號相匹配的目標，然后用爆炸物摧毀它們。美國海軍和國防部高級研究計劃局也研發了“海上獵手”號無人駕駛軍艦，可以從事反潛跟蹤等任務。

放眼全球，實驗性的潛艇、坦克和艦船也已經制造出來，全都可以利用AI進行自動駕駛和射擊。根據目前披露的信息，這些武器既可以遠程操控，也可以在激活后自主執行任務。很難分辨人類究竟在多大程度上介入了其決策過程。

AI申請出戰

某種自主武器至少已經存在了幾十年，包括熱尋導彈，甚至可追溯到美國內戰時的壓力觸發地雷（如果將自主性的定義放寬）。然而現在，AI算法的開發和使用正在擴展它們的能力。

事實上，AI在戰爭中的應用遠比我們想象中簡單得多。

加州大學伯克利分校的計算機科學家、反對AI武器的著名活動家斯圖爾特·拉塞爾（Stuart Russell）表示，“系統找到人類并殺死他們的技術能力比開發自動駕駛汽車要容易得多。這是一個研究生項目?！?/p>

現有的AI和機器人技術完全可以提供合適的物理平臺、感知、電機控制、導航、地圖、戰術決策和長期規劃。武器制造商要做的就是將它們按需結合起來。例如，使用DeepMind 的 DQN 算法學習人類的戰術策略，再加上已有的自動駕駛技術，一套自主武器系統完全可以完成城市搜索和摧毀任務。

我們很難知道AI武器在戰場上的表現如何，很大程度上是因為軍方不輕易發布此類數據。

2023年，英國戰略司令部副司令湯姆·科平格·賽姆斯（Tom Copinger-Symes）在英國議會調查中，曾被直接問及AI武器系統，他表示不方便透露太多信息，只是說英國軍方正在開展基準研究，以比較自主武器系統與非自主系統。

盡管現實世界的戰場數據很少，但研究人員指出，AI具有卓越的處理和決策能力，理論上可以提供巨大優勢。例如，在快速圖像識別領域，近十年來算法的表現一直優于人類。這為它精準識別圖像中的打擊目標做好了鋪墊。

早在2020 年，AI模型就在一系列模擬空戰中擊敗了經驗豐富的 F-16 戰斗機飛行員，這主要歸功于其“咄咄逼人的精確操縱，人類飛行員無法匹敵”。要知道，AI可以在極短時間內，圍繞如何執行特定動作、與對手的飛行距離和攻擊角度做出非常復雜的決定。

今年4月，美國軍方宣布完成了一次開創性試驗，讓一架AI控制的F-16戰機與人類駕駛的戰機完成了真實的空中格斗。AI操控的飛機實現了進攻和防御演練，距離人類駕駛的戰機最近只有610多米。

這架經過改裝的F-16戰斗機，被稱為X-62A，由人工智能駕駛。

來源：資料

這標志著美國軍方在AI控制飛機自主作戰領域的一次突破。如果這項技術未來在戰場上出現，空戰的瞬息萬變難以遠程操控，因此它必然屬于致命自主武器的范疇。

理論上，AI還可以用于戰爭的其他方面，包括制定潛在打擊目標清單。此前有媒體報道稱，以色列使用AI創建了一個包含數萬名可疑武裝分子姓名的數據庫。但以軍方予以否認。

管控AI武器，做起來難

AI的強大讓人們不得不思考如何更好地管控它的使用，無論是從實際應用層面，還是從道德層面。

人類控制和規范武器使用的努力可以追溯到數百年前。例如，遵守紀律的中世紀騎士同意不用長矛瞄準對方的馬。1675年，法國和神圣羅馬帝國同意禁止使用毒彈。

如今，國際上對武器的主要限制是通過《聯合國特定常規武器公約》（CCW），該公約于 1983 年簽署，用于禁止致盲激光武器等。

研究人員多年來一直致力于控制致命自主武器系統帶來的新威脅。聯合國秘書長安東尼奧·古特雷斯去年7月表示，他希望在2026年之前禁止在無人監督的情況下使用武器。

阻止殺手機器人運動。來源：網絡

2023年12月，聯合國通過了一項關鍵決議，將AI武器的問題納入了2024年9月聯合國大會議程中。

專家表示，此舉為各國對AI武器采取行動提供了首個現實途徑。但這說起來容易，做起來難。

一些人認為，AI輔助武器可能比人類制導武器更準確，有可能減少所謂的附帶損害（Collateral damage），例如平民傷亡和住宅區破壞，以及士兵死亡和致殘的數量，同時幫助弱小的國家和群體保護自己。

但這種想法的漏洞在于敵對國家也會擁有此類武器，而且軍事實力更強的國家很可能擁有更強大的自主武器，它們只會造成更大的傷害，而非更少。

至于依靠自主武器來減少附帶損害，這要建立在兩個前提的基礎上，而這兩個前提很難實現。

一是，AI不會犯錯，或者說AI比人類犯錯概率更低。但現在沒人能打包票說AI就不會犯下跟人類一樣的錯誤，比如將平民識別成打擊目標。

二是，自主武器的使用場景與人類控制的武器（例如步槍、坦克和“捕食者”無人機）基本相同。這也未必站得住腳，因為一旦新武器出現，作戰方法和打擊目標也會隨之變化，其使用場景難以預測，也無法控制。

因此，大多數AI專家認為，在自主武器的道路上猛踩油門可能會犯下災難性錯誤。讓AI自主選擇打擊目標并做出決策，許多人對該行為背后的道德問題深感擔憂。

2007年，英國軍方曾被迫匆忙重新設計了用于阿富汗的自主硫磺導彈，因為擔心它可能會將一輛載著兒童的巴士誤認為是一卡車叛亂分子。

這是因為雖然AI擅長識別圖像，但它并不是萬無一失的。我們都聽說過圖像識別的荒謬錯誤，比如把貓和狗搞混，但在戰爭中，把兒童和恐怖分子搞混就會導致災難性的后果。

此外，AI系統可能會被黑客攻擊，做出違背指令的行動，或者出現誤判等意外事件，導致沖突升級或降低戰爭門檻。

研究人員和軍方普遍提出的一項原則是，自主武器必須考慮 “人在環”。但人應該或必須在哪里以及如何介入仍有爭議：人是否應當在授權打擊之前目視驗證目標？是否必須能夠在戰場條件發生變化（例如平民進入戰區）時取消打擊？

同時，AI自主武器也讓問責機制變得復雜而混亂。一旦出現問題，承擔責任的顯然不是武器本身，那是授權打擊的人？還是武器制造商？抑或是AI系統的開發者？

鑒于AI自主武器的復雜性和破壞力，許多人（很可能是地球上的絕大多數人）認為最好的解決方案就是禁止致命的自主武器。但所有這些問題都要在國際層面（聯合國）認可、討論、爭吵、談判和妥協。如此有爭議的話題和龐大的工作量，決定了我們還要花上數年的時間才能邁出實質性的第一步。

但民間組織可以現在行動，AI和機器人領域的專業協會應制定并執行禁止致命自主武器工作的行為準則。在這方面有很多先例，例如美國化學會制定了嚴格的化學武器政策，美國物理學會要求美國批準《全面禁止核試驗條約》，反對對無核國家使用核武器，以促進和平與安全。

總而言之，AI驅動的自主武器注定會出現，無論致命與否，它都將重塑未來戰爭的形態。

人類不應讓這項“利器”失控，必須正視它帶來的風險和挑戰，抓緊一切時間和機會，確保我們能夠及時地控制住它的發展。只有如此，它才不會從“終結者”變為“人類終結者”。

參考資料：

[1] https://www.nature.com/articles/d41586-024-01029-0

[2] https://www.nature.com/articles/d41586-023-00511-5

[3] https://www.nature.com/articles/521415a

[4] https://san.com/cc/experts-warn-world-is-running-out-of-time-to-regulate-ai-in-warfare/

本文受科普中國·星空計劃項目扶持

出品：中國科協科普部

監制：中國科學技術出版社有限公司、北京中科星河文化傳媒有限公司

特 別 提 示

1. 進入『返樸』微信公眾號底部菜單“精品專欄“，可查閱不同主題系列科普文章。

2. 『返樸』提供按月檢索文章功能。關注公眾號，回復四位數組成的年份+月份，如“1903”，可獲取2019年3月的文章索引，以此類推。

版權說明：歡迎個人轉發，任何形式的媒體或機構未經授權，不得轉載和摘編。轉載授權請在「返樸」微信公眾號內聯系后臺。

歡迎掃碼關注深i科普！

我們將定期推出

公益、免費、優惠的科普活動和科普好物！