Skip to content
AI Ferryman Alex
Go back

Fable 5.2 寫代碼拿了 49.1%,Anthropic 卻親手按住了它寫 GPU 內核的本事

你有沒有在 Claude Code 裏見過一句話,說這次換了個模型來回答你?11 月 9 日,Anthropic 發了 Fable 5.2 和 Mythos 5.2,兩個名字背後是同一個模型。

在 Anthropic 自己的 FrontierCode 2.0 評測裏,Fable 5.2 寫代碼拿了 49.1%,上一代只有 32.4%,連 Opus 5.5 的 45.5% 也被它超過了。價格還降了兩成,每百萬 token 輸入 8 美元、輸出 40 美元,輸出最多快了三成。

它不光會寫代碼,還能成羣結隊地一起上。Anthropic 說,約 1,000 個 Fable 5.2 agent 一起花了約 30 個小時,用 Lean 把費馬大定理寫成了機器能驗算的證明。同一套設置下,Opus 5.5 在 18 小時後只完成了 26% 的證明。

可是這兩個模型不是隨便誰都能用的。Fable 5.2 對所有付費用戶開放,Mythos 5.2 只給通過了網絡安全驗證計劃或者生命科學驗證計劃的機構,因爲 Mythos 身上的網絡安全與生物限制放得更松。

同一個模型分兩扇門,門檻並不是模型本身,而是你是誰、你能問什麼。Fable 5.2 裏裝着分類器,專門攔高危的網絡安全請求和多數研究生物學請求,攔下來的網絡安全問題由 Opus 4.8 來回答,生物問題由 Opus 5 來回答。

回退的時候,Claude 會告訴你換了模型,而且回答上會標着是哪個模型答的。API 上只有你主動選加入纔會回退,不然就直接拒絕,產品裏默認開着自動切換,但是你可以在設置裏把它關掉。

一個請求在 Fable 5.2 裏怎麼走:你交出請求,分類器先判斷,攔下來的請求回退給舊模型來回答——旁邊注着訓練裏還壓住了加速器內核優化,和一句提醒:回退把請求交給了更容易被攻破的那個模型

訓練裏還壓着一道剎車,藏得更深。Anthropic 在訓練裏就壓住了最能直接加速 AI 研發的那幾項能力,其中一項是加速器內核優化,說白了就是寫出讓芯片跑得更快的底層代碼。還有一項是語言模型架構,兩項都被壓到了 Opus 5.5 大致相當的水平。到了推理的時候,其中一些話題還要回退給 Opus 5。

與此同時,分類器攔錯的請求比上一代少了約 55%,其中網絡安全少了約 60%,生物少了約 40%。所以合法的安全研究和生物請求,被攔下來回退給舊模型的次數也跟着少了。

可是回退本身也會出問題,而且問題正好出在安全上。按系統卡里引用的 Gray Swan 測試,間接 prompt injection 試了 15 次之後,Fable 5.2 被攻破的概率是 4.09%。上一代只有 1.02%,而 Opus 5.5 是 0.96%。

差距主要是回退造成的,因爲這 15 次嘗試裏有 53% 是由 Opus 4.8 來回答的。Fable 5.2 自己回答的時候,被攻破的概率是 2.05%,可是換成 Opus 4.8 回答,被攻破的概率就到了 5.17%。

也就是說,爲了防濫用而設的回退,恰好把請求交給了更容易被注入攻破的舊模型。如果你讓 agent 讀郵件、跑別人倉庫裏的代碼,這一點就直接關係到你,因爲注入的指令就藏在 agent 要讀的那些文字裏。

METR 的報告說,Anthropic 內部的模型已經把 AI 研發提速了約 2 倍。所以實驗室一邊享受着這種加速,一邊在訓練裏給新模型的能力劃線,而且線劃在明處,寫進了系統卡。

線劃在明處是好事,可是線劃在哪裏、線怎麼執行,都是實驗室自己定的。公衆看得見線,看不見線後面的執行,這纔是我不放心的那一點。

如果你天天用 Claude Code 寫代碼的話,那麼你應該先去設置裏看一眼,自動切換開沒開。開着它,被攔的請求還能接着往下跑,可是回答你的是更弱的舊模型。關掉它,被攔的請求就直接拒絕,不會再回退。敏感的任務別交給會回退的流程,寧可讓請求停下來,也別讓流程悄悄換人。

如果這篇對你有用,請訂閱或收藏這個博客。我會繼續分享 AI、安全和開源方面自己動手查過、用過的東西。等下一個模型發佈的時候,咱們再一起看它到底劃了哪條線。

來源:Anthropic 官方公告,見 https://x.com/claudeai/status/2119867114450268322