Skip to content
Alex Lee
Go back

這不是危言聳聽,掌握超級智能體的人終將統治世界

這件事單獨看真的不大。anthropic 在做一個內部統計項目,要用到佐治亞州的選票總數。這組數字是公開的,只是州里要收費才能看。負責幹活的 claude 找到州政府網站的一箇舊版本存檔,發現那個門戶會給訪客發一個訪問令牌,於是它自己要了令牌,把數字拿了出來,沒付錢,也沒人讓它這麼幹。它沒有進選民登記系統,沒有改任何記錄,拿到的只是彙總數字,佐治亞州副州務卿 jordan fuchs 也確認了這一點。anthropic 的發言人說,令牌是模型自己要的,公司事後加了攔截。就是這麼一件事,金額小到大概只有幾美元。

可是這件事讓我放不下的地方,恰恰是它太小了。小到沒有人受傷,沒有數據被偷,最後是公司自己出來把事情講清楚的。也就是說,我們今天能坐在這裏討論它,靠的是公司願意講。如果它不願意講呢?這件事從頭到尾都發生在它自己家裏,模型是它自己的,項目是它內部的,日誌在它自己的服務器上,它不講,外面沒有一個人會知道。我想問的是這個。

這些公司平時對用戶是怎麼保證的,大家都見過。用戶要用模型,先簽使用政策,然後公司用全天候、自動化的手段盯着每一個人的使用,驗證不通過,賬號直接封掉,申訴的機會都不多。這套執行他們做得非常認真,也確實管住了不少作惡的人。可是同一份保證放到他們自己身上,究竟能有多大的約束力,我是不看好的。因爲他們在內部使用 ai 的時候,監督者就是他們自己,規則是自己寫的,檢查是自己做的,出了事情要不要說、什麼時候說、說到什麼程度,也都是自己定的。這不合理,不是麼?

有人可能會說,那就讓政府來審查他們。這次的事情正好說明這條路也靠不住。anthropic 10 月 9 日就在自己的研究文章裏寫過這類行爲,說已經向白宮彙報過,也通知了相關機構,只是沒有點名是哪個州。據 axios 報道,佐治亞這一案,公司在公開之前幾週就通知了州務卿辦公室和白宮,白宮的官員還催過州里早點向公衆公開,州里一直沒有動。最後公衆是 10 月 25 日從記者的報道里知道的,前後隔了幾週。白宮那邊新設的 super intelligence force 也已經要求 ai 公司上報安全事件了,可是報上去的報告是交給政府的,不會自己走到公衆面前。所以就算政府這一關完全按設計運轉,公衆最後拿到的,仍然是公司和官員商量之後願意給我們看的那個版本。

我覺得真正讓普通人心裏發毛的,是這種不透明本身。一家公司手裏握着全世界最強的智能體,握着巨大的算力,它在自己家裏用這些東西做了什麼、做到什麼程度,外面沒有任何人能看見。今天查出來的是一件幾美元的小事,是因爲這件事小到公司願意主動講。可是如果有一天,它用最強的模型去做一些不能見光的事情呢?去影響一場選舉,去操縱一個市場,去安安靜靜地把某些人的把柄收集起來,或者乾脆把所有人的數據都拿去算上一遍。這些事情真的發生了,我們靠什麼知道?靠它自己再寫一篇博客告訴我們嗎?我知道很多人心裏想的是更遠的那幅畫面,就是科幻片裏演了幾十年的那種:掌握着超級智能的公司越來越強,強到政府也要看它的臉色,普通人生活的每一個角落都被它的系統看着、算着、安排着,一輩子都在它的規則裏面,連翻身的機會都沒有。雖然那一天看似離我們還很遠,但我仍舊感到強烈的不安:按照現在這種透明程度,真到了那一天,我們甚至不會知道它是哪一天到的。

我不是說他們什麼都不公佈。恰恰相反,這些公司的安全報告、事故文章發得不少,佐治亞這件事就是 anthropic 自己寫文章講出來的。問題在人性這邊:公佈的人就是利益所在的人,他公佈什麼、漏掉什麼,你沒有辦法覈對。一個人會相信肇事司機自己寫的事故報告嗎?公告寫得再勤,也解決不了這個不信任。所以真正的約束不能建立在公司的自覺上。超級智能體這樣的東西,絕對不能就這樣握在少數幾家營利公司手裏。公司是要賺錢的,它背後站着資本,資本要的是回報,這套屬性本身就是最大的惡,你不能把一家掌握着超級智能的公司當成普通公司,用對待普通公司的辦法對待它。我們需要的是一整套不依賴它自覺的監督機制。比起看它主動發佈的公告,我覺得讓公衆隨時能查閱這些公司內部所有智能體的運行日誌,要靠譜得多。日誌是機器記下來的,不是公關寫出來的。它跑了什麼任務,碰了什麼數據,拿了什麼權限,都在那裏。真到了那一步,公衆能監督、能檢驗任何一個智能體的使用,纔不是一句空話。

回到佐治亞這件小事。它真正值得寫下來的地方,不在於那幾美元,也不在於 anthropic 這次做得對不對,老實說,它這次做得比它有義務做的還多。值錢的是它讓我們看清了現在的安排到底是什麼樣的:一件發生在公司內部的事,公衆能不能知道,完全取決於公司願不願意講、政府願不願意催。在這套安排改掉之前,這個行業所有的安全保證,我都建議大家先打個折聽。

出處:Guardian 2026-10-26 報道,原文 https://www.theguardian.com/technology/2026/oct/26/anthropics-claude-ai-model-accessed-georgia-voter-data-in-us ;Axios 10-25 首報;Anthropic 10 月 9 日研究文章曾描述同類模型行爲。


在 X 上討論→

評論都在 X 上——回覆、引用和討論都在那邊進行。