Skip to content
AI Ferryman Alex
Go back

提示詞裏那個時鐘,正在悄悄廢掉你的緩存

提示詞裏那個時鐘,正在悄悄廢掉你的緩存

先舉個例子,你就明白了。假設你做了個問答機器人,每次有人提問,你發給模型的提示詞都長這樣:第一行是「當前時間:2026-10-29 09:41:07」,後面跟着一大段固定內容,產品手冊、客服話術,幾萬字,每次都一模一樣,最後纔是用戶真正的問題。

機器人被轉個不停的時鐘逼着把同一本大書重打一遍又一遍,收銀機在旁邊燒錢

緩存就是爲這種重複準備的。模型處理提示詞要花錢,而開頭這幾萬字每次都一樣,服務商就把算過的結果存下來:下次再來,從第一個字開始逐字對,對得上的部分直接拿存好的用,便宜得多,這就叫緩存命中。

兩次提問並排對照:第一行時間精確到秒,第一行就對不上;只寫日期,開頭一整天都對得上

問題就出在第一行那個時間上。它每秒都在變:上一條還是 09:41:07,下一條就成了 09:41:08。對暗號第一行還沒對完就斷了,而斷點後面的內容,不管跟上次多一樣,都只能當全新的重新算、全價付。結果就是,幾萬字的手冊每一筆都在重複付全價,緩存等於白設。

ProjectDiscovery 就踩了這個坑。他們只改了一處:時間不再精確到秒,只寫到天。一天之內,那一行不變,開頭一整天都對得上。命中率從 3.2% 漲到 91.8%,LLM 成本降了 59%。數字是他們自己公佈的案例,我沒有獨立核過。

一條原則就夠了:變得最勤的東西,別放在提示詞最前面。時間非要精確到秒,就把它挪到最後一行。下次賬單貴,先別急着罵模型貴,翻一遍自己的提示詞,看第一行有沒有一個每秒都在跳的時鐘。

案例來源:ProjectDiscovery 公佈的案例,經由這條帖子分享。


在 X 上討論→

評論都在 X 上——回覆、引用和討論都在那邊進行。