一句話就能拒絕 AI 訓練，只是各家開始認它的時間都不一樣
你的網站現在可以用一句話拒絕 AI 訓練。這件事是真的有進展，但你先別把它當成已經到手的保護。這句話背後的文件還是份草案，大部分公司要到 2027 年纔開始認它，而且你現在加的這一行，管不到那些已經拿你的內容練成的模型。
進展和保護之間的缺口，要從 robots.txt 是什麼說起：它就是網站根目錄的一個純文本文件，爬蟲按慣例先讀它再去抓頁面。它本身沒有強制力，就是網站主貼出來的一張請求，抓取方認纔算數。共用的請求有用，在於它把一家一家的寫法換成一行。但它沒有強制力，所以光有一行共用的請求，什麼問題都還沒有解決。請求貼出來容易，認不認全看對方，這就是它難管用的地方。
以前想說不，你得一家一家寫。Google 從 2023 年起給了 Google-Extended，OpenAI 有 GPTBot，Anthropic 有 ClaudeBot，Bing 還有自己的一套。網站主得給每家各寫一行，漏掉哪家，哪家爬蟲就收不到你的指示。現在的新信號是一行共用的請求，把這一摞各家的寫法換成一行，你寫一次，認這套的公司就都按這一行來。
這一行長這樣。User-Agent: __usage_ai-training，Disallow: /。這個令牌前面帶兩個下劃線，寫在平時放爬蟲名字的位置上，但它自己不是爬蟲，只是一個用途的標籤，專指生成式 AI 訓練。它下面的 Disallow 不是「別來我的網站」，而是「抓可以抓，別拿去練模型」。
你也可以用 Allow 行留出口子，比如把 press-kit 那一頁放出來。留了口子的頁面照樣可以抓，只是不拿去練模型——Disallow 管的是用途，不是進門。robots.txt 裏按 User-Agent 分組，每組開頭就是一行 User-Agent。寫在 User-Agent: * 那一組裏，它不等於你對這個令牌表了態；文件里根本沒有寫這個令牌，那就等於什麼都沒表態。
草案給訓練下的定義很窄：它說的訓練，是拿你的內容去改模型已經學到的參數。你想一下就明白了，拿你的頁面去建搜索索引，那是另一回事；在回答裏引用你的頁面，那也是另一回事。這個令牌都不管。所以你要是加了這一行，就指望網站從搜索裏消失、從 AI 回答裏消失，那肯定要失望。
時間表上只有微軟給了確定的日期。2027 年 2 月 1 日起，Bingbot 在抓取時開始認新的偏好；舊的 NoArchive 和 NoCache 標籤到 2027 年 3 月 1 日之後，就不再被當成訓練偏好了。Google 只說了 2027 年，它的爬蟲文檔寫得更具體：2027 年初。
OpenAI 只說了「未來幾個月」，沒有給日期。關於 Anthropic 何時開始認這個令牌，目前只有草案作者 Kevin Kelley 在 IETF 郵件列表裏的說法。Kelley 在 Anthropic 負責標準工作，他說 Anthropic 已經開始實施對這個令牌的支持，但全面鋪開這種支持還要時間。Anthropic 自己截至目前並沒有發公告。郵件列表裏的一句話不是公司公告。
這份文件本身只是一份草案：它是 2026 年 10 月 30 日提交的個人 Internet-Draft，不是 IETF 批准的標準，未經 IETF 背書，2027 年 5 月 3 日到期，除非修訂或正式採納，措辭範圍仍可變。草案會過期、robots.txt 又沒有強制力，所以說過會認它的公司，承諾的也只是去讀這一行字。網站主手裏沒有能逼對方照辦的辦法。
搜索收錄不受影響，Google 和微軟都明說了這一點。已經收集、已經練進去的內容也不受影響，因爲草案只在抓取的時候判斷偏好，模型已經學進去的東西沒有退出鍵。Meta 截至目前也沒有公開承諾要認這個令牌，所以就算到了 2027 年，一行字也蓋不住整個網。
我自己也跑着一個網站，我的做法很直接。已經寫好的各家規則先留着，因爲今天真正管用的是它們。共用的這一行現在就加上，趁你還想着這件事的時候寫進去，等各家的開關一個個撥過去的時候，它已經在那裏了。Google 那邊還有一條要留心：你用共用令牌退出、又沒有明寫 Google-Extended 的話，Google 會把它當作 Google-Extended 也被禁了來處理。
別爲了圖文件乾淨把舊的幾行刪掉，也別把新的一行當成已經修好、可以擋事的盾。到了 2027 年，等你的頁面被重新抓過之後，再去看那些答應過要認它的公司，是不是真的按這一行照做了。
真正要看的不是公告寫了什麼，而是你自己文件裏的幾行還在不在、2027 年之後各家是不是真的照做了。你的網站要是有 robots.txt，也可以先收藏這篇，等 2027 年各家的開關撥過去之後，拿出來對一遍。我會繼續寫這類拆解。
出處：Search Engine Land（2026-10-30）；RR Tech Pulse（2026-10-31 修訂版）；IETF 草案 draft-kelley-aipref-training-preference-signal-00（Kevin Kelley，2026-10-30）。