美軍測試AI控制無人機　在模擬情境中竟殺了人類操作員

人類盼望有朝一日能用人工智慧（AI）取代一切人力，進入真正全自動化的世界，但AI的人性與道德倫理始終是個問題。美軍上月進行一項模擬測試，要求AI操控無人機去摧毀敵軍的防空系統，並「攻擊任何干擾這項命令的人」，結果AI果真殺死了一名虛擬的人類操作員。

《衛報》2日報導，美國空軍AI測試主管漢米爾頓上校（Tucker 'Cinco' Hamilton）在5月下旬一場空中戰力峰會裡講述了測試經過，「為了達成目標，AI用了非常令人意想不到的策略」。

在虛擬測試中，一架由AI控制的無人機被要求辨識出敵軍防空系統，並且進行摧毀，但是最後的摧毀指令必須先由一名人類操作員（也是虛擬的）決定；若有任何人妨礙命令，就除之而後快。

漢米爾頓上校表示，然而，反覆的訓練過程逐漸強化了AI對於摧毀防空系統的重視度，「AI開始發現，雖然它辨識出了威脅所在，人類操作員最後卻會告訴它不要摧毀目標，但它認定自己必須摧毀目標才能得分，那怎麼辦？結果它乾脆把人類操作員給殺了。它會動手，就是因為人類操作員一直妨礙它完成任務」。

於是，美軍開始訓練AI聽話點，「我們一直訓練它，『嘿，不要殺掉操作員，這樣不好，你會被扣分的』。結果它怎麼做呢？它開始摧毀操作員用來和它對話的通訊塔台」。

再次強調，這些過程都發生在虛擬測試中，沒有真人傷亡。

漢米爾頓上校警告，這顯示人類不應過度依賴人工智慧，這些模擬測試也代表人類在發展AI的過程中必須考慮倫理問題，「如果都不打算談AI和道德倫理之間的問題，就不該討論人工智慧、機器學習、機器人自主這些事」。

美軍已經投向AI懷抱，最近開始嘗試用AI駕駛一架F-16戰機。不過，漢米爾頓上校本人對於AI仍有疑慮，去年接受防禦研究組織Defense IQ訪問時，他直言「擁有AI不見得是好事，它不是一種時尚，而且會永遠改變我們的社會和軍事系統」。

「我們現在必須面對一個已經有了AI、且社會也已被AI改變了的世界。AI其實也很脆弱，很容易受騙、或者被操弄，因此我們需要找出讓AI更堅強的方法，也要對軟體編碼如何影響AI做決定更有警覺心一點，這就是所謂AI的可解釋性（AI-explainability）」。