Skip to content
Alex Lee
Go back

GLM-5.3發生泄漏,你使用的中轉站還安全麼?

Cloudflare 10 月 26 日披露了一次泄漏,跑在它 Workers AI 上的 GLM-5.3,在差不多兩個星期裏,會把一個用戶的提示詞片段,帶進另一個用戶的回答裏。這件事 9 月 9 日就修好了,前後中招的回答一共 155 條,你要問我這件事本身有多大,我說實話,不大。

我真正想講的,是它順手演示出來的另一件事:很多人買大模型走的是中轉站,而中轉站,恰恰是最容易出這種事的地方。你用的那家還安全麼,我覺得值得你花三分鐘想一想。

事情的經過其實不復雜。模型讀你的提示詞的時候,會把已經處理過的文字記成一份筆記,存在顯存裏,這樣它往下生成的時候就不用把前面的活重做一遍,這份筆記行話叫 KV 緩存。爲了同時服務很多人,這份筆記是大家共用一個池子存放的,隔離全靠軟件把每個人的頁面分清楚。

出事的配置是這樣的:這個池子實際上只能裝 681,280 個 token,可 GLM-5.3 對外標稱的上下文長度是 1,048,576 個。你算一下,1,048,576 減 681,280,差了 367,296 個。

按道理,提示詞長過了池子,就應該當場被拒絕掉,可是 SGLang 拒絕的那條路徑上有個 bug,超長的請求沒有被攔住,往下走到了生成回答的那一步,而那一步讀到的顯存頁面裏,還留着排在它前面的用戶寫下的筆記。155 條中招的回答,全部來自超過 681,280 個 token 的超長提示詞,前面那些用戶的提示詞片段,就這樣出現在了陌生人的回答裏。

Cloudflare 在披露裏承認了一件事,我看到的時候後背有點涼:這兩個數字對不上,他們上線之前就知道,他們當時想的是,反正引擎會把超長的請求報錯擋回去,先上吧。後來他們把池子擴到了能裝下整個上下文,引擎的修復也跟上了,補丁一路發到 SGLang 0.5.22,還說沒有發現有人故意利用這個漏洞的證據。

修是修好了,可你注意,栽跟頭的是 Cloudflare,它有專門的安全團隊,有人盯着這種事,還是在明知數字對不上的情況下先把服務放了出去。

KV 緩存是幹什麼的,這次泄漏又是怎麼發生的

那麼這件事跟中轉站有什麼關係呢?關係就在「誰在運營那個池子」上。中轉站這個行當,內部其實分兩種,很多人一直不知道。

一種是純轉發的:它自己不跑模型,就是把你的請求原樣轉給官方的 API,模型在 OpenAI 或者 Anthropic 那邊跑,池子也是人家那邊的,隔離做得怎麼樣,輪不到中轉站操心。

這一層的風險不在配置上,而在別的地方:你寫的東西是明文從它的服務器上過的,它願意記就能全記下來,它的數據庫要是被人拖走了,你的提示詞和代碼就都在裏面,老闆哪天跑路了,你連自己的數據最後去了哪兒都不知道。

另一種是自己部署的:你在它店裏買的名字叫 ChatGPT,價格比官方便宜一大截,可你的請求壓根沒有去過 OpenAI,是站長自己部署的一個開源模型,在後面頂着那個名字回答你。這一類,纔是這次泄漏的正主。

爲什麼這麼說,你聽我把 Cloudflare 原文裏的一句話翻譯成人話:標稱的上下文長度,是一個單獨填的配置數字;而池子到底能裝多少,根本不是誰填的,它是引擎啓動的時候,拿顯卡上裝完模型權重之後剩下的顯存現算的。這兩個數字之間,沒有任何機制保證它們一致,對不對得上,全靠運營的人自己去核對。

Cloudflare 覈對漏了,而且是知道對不上還先上了線。一個自己租機器搭站的站長,定價頁面上把上下文寫成 1M,眼睛都不帶眨的,他那張卡裝完模型還剩多少顯存,他覈對過嗎?

他用的 SGLang 又是什麼版本呢?這次這個 bug,早在 7 月就有人給 SGLang 報過了,修復補丁到 10 月 19 日的 0.5.22 纔算發齊,站長要是還跑着老版本,配置就算沒有寫錯,超長的請求一樣能把前面用戶的內容帶出來。

你送進去的都是什麼呢?用中轉站寫代碼的人,送進去的往往就是沒發佈的代碼、內部的文檔、整個項目的上下文。真漏出去,漏到同一個站的另一個用戶那裏,你這邊不會有任何動靜,日誌裏乾乾淨淨,你永遠不會知道。

更麻煩的是,你在外面根本分不出自己買的到底是哪一種。API 的地址長得跟官方一樣,返回的格式一樣,你問模型它是誰,它還會一本正經地告訴你它就是 ChatGPT,這些全都能仿,替換這門生意本來就是靠你分不出來賺錢的。

價格低得離譜,是唯一能從外面看到的信號,可它也只是個信號,不是證據。所以標題裏那個問題,你使用的中轉站還安全麼,對大多數人來說,誠實的答案是答不上來,因爲你連它是哪一種都不知道。我把話說得再直白一點:你不知道它是哪一種,這件事本身,就是你正在承擔的風險。

你買的「ChatGPT」,請求到底去了哪兒:中轉站的兩種分流

那怎麼辦,我給的建議都是你自己能動手做到的,不指望站長出什麼證明,因爲他證明不了,你也驗不了。你要是有資格、也有條件直接買官方的 API,我的建議是別繞中轉站這一手,這一層的風險直接就不存在了。

你要是確實只能用中轉站,那就別按「它是個轉發管道」來信任它,按「它背後可能就是一臺我看不見的機器」來防:沒有發佈的代碼、內部文檔,不要整份往裏面送,非送不可,先把名字、地址、密鑰這些東西抹掉再送。

專門送長文檔的人尤其要在意,這次收到別人內容的,全是超長提示詞的回答,長文檔正是最容易走到那一步的東西。

你要是隻聊短對話,你不會在自己的回答裏撞見別人的內容,可是你留下的筆記被後面某個超長請求讀走的可能,跟你聊得長不長沒有關係,該防的從來都是你送進去的東西本身。

定價低到明顯不合常理的「官方模型」,你就先按替換貨來算賬,用它乾點不疼不癢的活可以,把身家性命的東西交給它之前,先想一想這篇裏說的事。

寫到最後,我是真的有點好奇,想問問在用中轉站的各位:你有沒有在某一次回答裏,隱隱覺得對面這個模型不像你買的那個?或者你其實早就懷疑過,只是沒地方驗證?評論區跟我說說,我想看看這種事到底有多普遍。

出處:Cloudflare 官方披露


在 X 上討論→

評論都在 X 上——回覆、引用和討論都在那邊進行。