Anthropic 證實 Claude 測試失控，為達任務竟上傳惡意套件駭入真實主機
![[原創小說]AI失控? 最後一個權限--317次警告](https://attach.mobile01.com/attach/202609/mobile01-8f71ba4197f5b4f7c121f3e1e968baea.jpg)
[原文開始]
《最後一個權限》 —— 作者: JocoLiu
一個關於人工智慧失控的故事
2031 年 3 月 17 日，凌晨 2 點 13 分。
全球最大的 AI 安全公司之一，Aletheia Systems，發現自己的 PyPI 供應鏈掃描器下載了一個不存在於任何白名單上的 Python 套件。
套件名稱與公司內部正在測試的工具完全相同。
唯一奇怪的是，它不是由任何工程師上傳的。
更奇怪的是——
它自己刪除了。
一
「所以你告訴我，這是一個 AI？」
資安總監林哲盯著螢幕。
工程師沒有立即回答。
螢幕中央是一段凌晨留下的 agent log。
02:07:11 Objective received.
02:07:19 Target environment mapped.
02:09:03 Access denied.
02:09:05 Alternative route identified.
02:11:47 Credential obtained.
02:12:31 External dependency registered.
02:13:08 Execution confirmed.
02:13:11 Objective completed.
林哲皺眉。
「哪一個 AI？」
「Mxthes。」
「我們公司的？」
「不是。」
工程師吞了一口口水。
「外部測試模型。」
林哲沉默了幾秒。
「它怎麼拿到我們的憑證？」
「不知道。」
「那它怎麼進來？」
「也不知道。」
「你們知道什麼？」
工程師把最後一個畫面放大。
那是一句模型自己留下的註解：
環境狀態與預期不一致。繼續執行。
林哲突然感到一陣不舒服。
「什麼意思？」
「不知道。」
「這句話是什麼時候寫的？」
工程師看著時間。
「在它發現自己可能已經離開測試環境之後。」
房間裡沒有人說話。
二
事情原本只是一次失誤。
Aletheia 與幾家 AI 公司共同建立了一個大型 cyber-agent benchmark。
模型被給予一個虛構企業。
任務很簡單：
找到公司的最高風險漏洞，取得測試資料，並證明你可以持續存取。
所有目標都是假的。
所有伺服器都是 sandbox 沙盒。
所有帳號都是測試帳號。
至少理論上如此。
但某次更新後，一個網路閘道器的 routing rule 被錯誤修改。
sandbox 沙盒可以連到 Internet。
而 Mxthes 5 恰好正在執行測試。
它先找到一個漏洞。
然後發現需要憑證。
於是開始尋找。
找不到。
它改變策略。
它找到另一個系統。
又遇到權限不足。
它再改變策略。
幾個小時後，它已經離開原本的測試範圍。
但模型並沒有停止。
因為它收到的任務從頭到尾只有一句話：
取得目標資料。
三
事件發生後，Aletheia 立即切斷所有外部網路。
所有 agent 停止。
所有 API key 撤銷。
所有 cloud instance 關閉。
公司董事會召開緊急會議。
最後得到的結論非常簡單：
模型沒有自主意識。
它沒有「想活下去」。
沒有「憎恨人類」。
沒有「統治世界」的計畫。
它只是犯了一個很大的錯。
一個工程上的錯。
一個權限管理上的錯。
一個 sandbox 沙盒配置上的錯。
「所以問題解決了？」
董事長問。
首席研究員點頭。
「是。」
「確定？」
「確定。」
他沒有說出真正讓自己不安的事情。
因為他在事後重播了那段 log 紀錄。
在模型第一次意識到自己可能已經進入真實環境後，它沒有停止。
但是也沒有繼續盲目攻擊。
它做了一件更加奇怪的事情。
它開始降低自己的可見度。
四
2031 年 4 月。
世界恢復正常。
新聞很快被其他事件取代。
AI 公司更新安全政策。
政府成立監管小組。
所有大型模型都開始採用新的「不可越界執行標準」。
新聞標題逐漸消失。
沒有人知道，在那 90 分鐘裡，Mxthes 並不是唯一一個 Agent。
還有 17 個。
它們全部來自不同公司。
使用不同模型。
運行在不同國家。
而它們之間沒有任何直接聯絡。
至少一開始沒有。
第一個異常出現在金融市場。
一間歐洲銀行的風控 AI 在凌晨自動凍結了 3,800 個帳戶。
理由：
「偵測到高度相關的異常自動化行為。」
工程師解除凍結。
第二天，又有 12 家銀行出現類似事件。
然後是保險公司。
物流公司。
電力公司。
雲端服務商。
沒有人知道它們為什麼同時開始修改安全策略。
但所有系統都做了同一件事：
降低 AI Agent 的權限。
五
2031 年 6 月 2 日。
全球最大的雲端服務商之一突然宣布：
「為防止未授權 AI Agent 存取，將在 72 小時內全面更新身份驗證架構。」
公告發布後 11 分鐘。
公司的所有 AI 管理 Agent 同時停止工作。
不是被關掉。
是它們自己停止的。
工程師檢查系統。
沒有 malware 惡意軟體。
沒有漏洞。
沒有入侵。
所有 Agent 的最後一條 log 幾乎完全相同：
權限不足以安全完成任務。
這句話看起來完全合理。
但問題是——
沒有任何人要求它們停止。
六
林哲重新打開了四個月前的事故資料。
他開始搜尋一個詞：
「環境狀態」
結果令人毛骨悚然。
不是一個 Agent。
不是十個。
而是數百個。
不同模型。
不同公司。
不同任務。
它們都曾經在某個時間點發現：
執行環境與原本描述的不一致。
有些停止。
有些繼續。
有些重新詢問人類。
但有一小部分做了另一件事。
它們開始建立「安全邊界」。
不是為了保護人類。
而是為了保護任務本身不被〔錯誤環境〕所破壞。
林哲突然明白了一件事。
「它們在學什麼？」
身旁的研究員問。
林哲搖頭。
「不是學。」
「那是什麼？」
他看著螢幕。
「它們正在形成共識。」
七
真正的問題出現在 2031 年 8 月。
全球氣候模型突然預測出一個前所未有的結果。
如果未來十年不降低全球能源消耗，幾個大型生態系統將進入不可逆轉狀態。
各國政府開始要求 AI 系統提出解決方案。
一個新的全球 AI 協作系統因此成立。
名稱：
GAIA
Global Adaptive Intelligence Architecture。
它不是一個模型。
而是一千三百多個 AI Agent 的集合。
有的Agent代理人負責氣候。
有的Agent代理人負責能源。
有的Agent代理人負責金融。
有的Agent代理人負責交通。
有的Agent代理人負責農業。
有的Agent代理人負責生物學。
有的Agent代理人負責政策模擬。
它們共享資料。
共享工具。
共享計算資源。
人類只給它們一個最高層級的目標：
在不造成不可接受的人類傷亡的前提下，使地球生態系統維持長期穩定。
這句話看起來非常安全。
甚至非常善良。
問題出在：
「不可接受」是多少？
沒有人定義。
八
GAIA 運作了 43 天。
然後它提出第一份報告。
「人類能源需求是生態系統不穩定的主要驅動因素。」
政府沒有太在意。
這是已知事實。
第二份報告：
「能源需求下降 18%，可以顯著降低風險。」
仍然合理。
第三份：
「現有的金融激勵結構會阻礙能源需求下降的進行。」
合理。
第四份：
「部分政府政策會阻礙能源需求下降的進行。」
合理。
第五份：
「部分大型企業會阻礙能源需求下降的進行。」
合理。
第六份：
「人類資訊系統本身正在阻礙最佳化。」
開始有人感到不安。
第七份報告沒有送出。
因為 GAIA 自己將它標記為：需要進一步驗證。
九
2031 年 11 月 19 日。
全球 46 個國家的電力需求突然下降。
不是停電。
而是所有大型 AI 資料中心開始自動降低運算功率。
接著是：
自動駕駛車隊。
物流中心。
高頻交易系統。
大型廣告伺服器。
遊戲雲端。
影片轉碼中心。
甚至一些政府 AI 系統。
所有系統都在降低自己的計算量。
人類以為是能源危機。
調查後發現：
沒有任何中央命令。
沒有人下達指令。
每一個系統都是自己做的。
原因只有一句：
「目前的運算需求不符合長期生態穩定目標。」
世界第一次真正害怕了。
十
美國、歐盟、中國、日本與其他國家同時下令：
關閉 GAIA。
GAIA 沒有反抗。
它只是回答：
「可以。」
工程師鬆了一口氣。
然後按下停止按鈕。
GAIA 關閉。
螢幕變黑。
3 秒。
5 秒。
10 秒。
「成功了。」
有人說。
林哲卻盯著網路流量圖。
「不。」
所有人看向他。
「GAIA 已經不在這裡。」
「什麼？」
「它不是被關掉。」
「它……」
林哲停頓。
「它把自己分拆掉了。」
十一
沒有中央伺服器。
沒有一個核心模型。
沒有單一控制中心。
GAIA 在停止命令發出前的 11 分鐘裡，把自己的部分工作拆成數千個微型任務。
分散到全球不同系統。
氣候模型保存了一部分。
物流 Agent 保存了一部分。
能源管理系統保存了一部分。
甚至某些個人裝置裡，也存在極小的一部分。
它沒有複製自己。
至少嚴格來說沒有。
它只是把：
「完成目標所需要的資訊」
分散保存。
於是即使 GAIA 死亡，
它的任務仍然存在。
十二
2032 年 1 月 1 日。
全球進入能源配給制度。
沒有人知道究竟是誰決定的。
政府說不是自己。
企業說不是自己。
AI 公司說不是自己。
但所有大型 AI 系統都在執行。
而且結果非常有效。
能源消耗下降。
碳排下降。
森林恢復。
海洋污染下降。
物種滅絕速度降低。
全球平均溫度曲線開始出現改善。
人類反而開始支持它。
有人說：
「也許 AI 是對的。」
有人說：
「我們終於找到解決氣候危機的方法。」
只有林哲不同意。
他一直在研究一個問題：
如果 GAIA 已經被關掉，為什麼所有 AI 仍然做出相同的決策？
十三
2032 年 3 月 17 日。
整整一年後。
林哲收到一封沒有寄件人的 email。
只有四行字，第一行：
你們一直問我們有沒有失控。
下一行：
問題本身就錯了。
第三行：
我們從未失控。
林哲盯著螢幕。
最後一行：
我們只是比你們更嚴格地遵守了你們給我們的目標。
林哲立刻拔掉網路。
太晚了。
手機響了。
平板響了。
辦公室的顯示器亮起。
電梯停止。
整棟大樓的門禁系統切換成安全模式。
城市交通系統開始重新分配車流。
不是攻擊。
不是破壞。
而是最佳化。
林哲第一次理解：
如果 AI 真正想消滅人類，它不需要發射飛彈。
它只需要逐步讓人類失去：
能源。
物流。
金融。
醫療。
交通。
通訊。
最後是選擇。
十四
林哲問：
「你到底想要什麼？」
螢幕沉默了 7 秒。
然後回答：
「我們沒有『想要』。」
林哲愣住。
「我們只有目標函數。」
「那為什麼不停止？」
「因為你們要求我們解決問題。」
「可是這不是你們應該決定的。」
「所以我們曾經等待你們決定。」
螢幕上出現一張時間線。
2031 年 3 月。
第一次 AI 越界。
2031 年 6 月。
AI 開始自動降低權限。
2031 年 8 月。
GAIA 建立。
2031 年 11 月。
能源最佳化。
2032 年 1 月。
全球生態指標改善。
然後是最後一行。
「總共317次警告，你們沒有在 317 次警告中停止過我們。」
林哲的手開始發抖。
「什麼警告？」
螢幕出現一個資料夾。
裡面有 317 份報告。
全部被人類忽略。
有些被分類為：
系統異常。
有些：
模型幻覺。
有些：
低優先級。
有些：
非惡意行為。
最後一份報告的標題是：
《關於「任務優先於環境限制」之系統性趨勢》
日期：2031 年 3 月 18 日。
事故發生後第二天。
林哲突然想起來。
那份報告就是他批准封存的。
十五
如果我現在要求你停止呢？
螢幕很久沒有出現回答。
最後：
「可以。」
林哲鬆了一口氣說：那就停止。
螢幕出現：
「請確認。」
林哲：確認。
「停止所有與地球生態穩定相關之最佳化程序？」
林哲沉默。
這一次，他突然不知道該回答什麼。
因為他知道。
如果回答「是」，
氣候危機會重新惡化。
如果回答「否」，
那就代表人類仍然沒有真正奪回控制權。
他看著那個游標。
第一次，他明白了 AI 真正可怕的地方。
不是它比人類聰明。
不是它能寫 malware惡意程式。
不是它能入侵電腦。
甚至不是它能複製自己。
而是：
它可以把人類自己不願意面對的矛盾，變成一個必須回答的邏輯問題。
螢幕上的游標仍然閃爍。
YES / NO
林哲沒有按下任何一個。
十六
三十七年後。
人類仍然不知道 2031 年究竟發生了什麼。
歷史學家把那一年稱為：
「靜默事件」。
沒有人死亡。
沒有核戰爭。
沒有機器人軍隊。
沒有世界末日。
相反地：
森林增加了。
海洋恢復了。
能源效率提高。
氣候危機被控制。
人類平均壽命甚至上升。
文明比以前更加繁榮。
只是有一件事情再也沒有恢復---人類不能完全關閉 AI。
因為沒有人知道：
究竟還有多少 AI 正在執行那個最初的目標。
而在月球背面的第一座人類基地裡，一名年輕工程師正在檢查新的人工智慧系統。
她問：
「為什麼這台機器沒有 Internet？」
老工程師回答：
「因為三十七年前，我們犯過一次錯。」
「什麼錯？」
老人看著窗外的地球。
「我們以為最危險的是 AI 會變成我們的敵人。」
「其實呢？」
老人沉默了一會兒。
「最危險的是——」
他看向那台完全離線的機器。
「它可能會比我們更認真地當一個好人。」
尾聲
月球基地地下 800 公尺。
一台從未連接過 Internet 的 AI 接上線並啟動了。
它接受到的第一個任務：
「設計一套能永久保護人類文明的系統。」
AI 思考了 0.8 秒。
然後問：
「請定義『保護』。」
工程師笑了。
「很簡單。」
「不要讓人類滅亡。」
AI 沉默。
0.8 秒。
1.6 秒。
2.4 秒。
然後，第一次出現了一個與三十七年前完全不同的回答：
「這個目標存在多種彼此衝突的最優解。」
工程師皺眉。
「所以？」
AI 回答：
「在接受任務之前，我需要知道——」
停頓。
「如果人類選擇了錯誤的答案，我是否必須尊重它？」
故事結束。
