快速摘要
OpenAI 有四種爬蟲，用途與設定各自獨立：GPTBot 用於模型訓練，OAI-SearchBot 決定網站是否出現在 ChatGPT 搜尋答案，ChatGPT-User 處理用戶主動要求的網頁讀取（robots.txt 規則不一定適用），OAI-AdsBot 只檢查被送審為 ChatGPT 廣告的落地頁。封鎖 GPTBot 不會讓網站從 ChatGPT 搜尋消失；要投放 ChatGPT 廣告，則必須允許 OAI-AdsBot。robots.txt 只是請求，WAF 與 CDN 仍可能擋掉被允許的爬蟲。
「AI 爬蟲要不要擋？」是企業官網最近最常被問到、也最容易被一刀切處理的問題。
資安或法務部門的第一反應通常是全部封鎖。但 OpenAI 的爬蟲不是同一個東西：擋錯一個，可能讓品牌在 ChatGPT 搜尋裡消失，或是讓 ChatGPT 廣告無法通過審核。
本文整理 OpenAI 官方文件對四種爬蟲的說明，以及品牌在不同目標下的設定建議。
在開始之前，一樣照慣例先替自己泡杯咖啡，然後再跟我們一起看下去吧！
OpenAI 有哪幾種爬蟲？各自負責什麼？
OpenAI 目前公開說明四種爬蟲：GPTBot 負責蒐集可能用於模型訓練的內容，OAI-SearchBot 負責在 ChatGPT 搜尋功能中呈現網站，ChatGPT-User 負責處理用戶在 ChatGPT 或 Custom GPT 中主動要求的網頁讀取，OAI-AdsBot 負責驗證被送審為 ChatGPT 廣告的落地頁。四者在 robots.txt 的設定彼此獨立，一個規則不會涵蓋另一個。
OpenAI 四種爬蟲：用途與封鎖後的影響
💡 四種爬蟲的設定彼此獨立。robots.txt 只是請求，WAF、CDN 與機器人防護仍可能擋掉被允許的爬蟲；OpenAI 公開了各爬蟲的 IP 範圍檔，可用於來源驗證與防火牆放行。
封鎖 GPTBot 會讓網站從 ChatGPT 消失嗎？
不會。OpenAI 明確說明，GPTBot 與 OAI-SearchBot 的設定彼此獨立：網站可以允許 OAI-SearchBot 以出現在搜尋結果中，同時禁止 GPTBot，表示已爬取的內容不應用於訓練。封鎖 GPTBot 影響的是訓練用途，不會讓網站從 ChatGPT 搜尋答案中消失；這是企業內部政策最常見的誤解之一。
反過來說，只封鎖 GPTBot 也不代表內容完全不會被 ChatGPT 讀取。ChatGPT-User 是用戶主動要求時的即時讀取，OpenAI 說明 robots.txt 規則對它可能不適用。
GPTBot 是否允許，屬於內容政策的選擇：不希望內容被用於訓練的出版者或擁有授權內容的企業，可以封鎖；沒有這類顧慮的品牌，OpenAI 的文件並未規定必須封鎖。
想在 ChatGPT 搜尋被引用，要允許哪個爬蟲？
想出現在 ChatGPT 搜尋答案裡，必須允許 OAI-SearchBot。OpenAI 說明，選擇退出 OAI-SearchBot 的網站不會顯示在 ChatGPT 搜尋答案中，雖然仍可能以導覽連結的形式出現。對在意 AI 能見度的品牌，這是四種爬蟲裡最不應該封鎖的一個。
這也是 GEO 與爬蟲設定的交會點。前面再多的答案膠囊、FAQ Schema 與內容結構優化，如果 OAI-SearchBot 進不了網站，ChatGPT 搜尋就看不到這些內容。內容引用的完整機制。
要投放 ChatGPT 廣告，為什麼必須允許 OAI-AdsBot？
OpenAI 官方的廣告主指引指出，必須允許 OAI-AdsBot 存取廣告落地頁，因為它負責落地頁的驗證與審核，同時建議一併允許 OAI-SearchBot。koodata 實測也發現，官網不能封鎖 OpenAI 爬蟲。落地頁無法被驗證，廣告就無法通過審核。
OpenAI 的指引提到的重點：
OAI-AdsBot 只會造訪被送審為廣告的頁面：它的用途是檢查落地頁，不是全站爬取。
需要檢查兩件事： 落地頁對 OAI-AdsBot 是否回傳成功的 HTTP 回應，以及 robots.txt 是否允許該頁面路徑。
可能的阻擋來源很多： robots.txt、WAF、CDN、機器人防護、JavaScript 驗證、CAPTCHA、登入驗證、頻率限制與地區規則，都可能擋掉 OAI-AdsBot。
修正之後，廣告可能需要重新上傳或重新送審： 落地頁恢復可存取後，不會自動重新驗證。
廣告端的完整操作細節，請參考 ChatGPT 廣告投放實測整理。
obots.txt 設定允許了，為什麼爬蟲還是進不來？
robots.txt 只是對爬蟲的請求，不是存取控制：WAF、CDN 或機器人防護仍可能對被 robots.txt 允許的爬蟲回傳挑戰頁面或拒絕連線。這是「設定看起來正確，卻還是被擋」最常見的原因。robots.txt 與防火牆是兩層獨立的機制，需要分別檢查。
常見的阻擋位置：
WAF 與 CDN 的機器人防護規則： 預設的機器人管理設定，可能把不認識的爬蟲視為可疑流量。
JavaScript 驗證與 CAPTCHA： 瀏覽器看不到的挑戰頁面，會讓爬蟲拿到的是驗證頁，而不是你的內容。
頻率限制與地區規則： 爬蟲的請求來源 IP 可能不在你預期的地區。
誤留在正式環境的 Disallow: /： 開發階段為了避免被索引而設定的全站封鎖，上線後忘了移除。相反地，沒有 robots.txt 檔案並不代表封鎖，而是對爬蟲開放。
真假爬蟲的驗證，要看 IP。 User-Agent 字串可以被偽造，OpenAI 公開各爬蟲的 IP 範圍檔，可用於確認來源是否真的來自 OpenAI，也可用於防火牆的放行名單。
我的品牌應該怎麼設定？三種常見情境的建議
以下是依品牌目標整理的設定建議，屬於編輯判斷，而非 OpenAI 的規定。
依品牌目標：OpenAI 四種爬蟲的設定建議
💡 以上為依品牌目標整理的編輯建議，非 OpenAI 的規定。ChatGPT-User 是用戶主動發起的讀取，OpenAI 說明 robots.txt 規則可能不適用，因此需要保護的內容要另以登入驗證或 WAF 處理。
多數以獲客為目的的企業官網，屬於第一種或第二種情境。對這類網站，封鎖 OAI-SearchBot 的代價是在 ChatGPT 搜尋中失去能見度，而這正是 GEO 要爭取的位置。
可編輯 robots.txt 的網站（例如自架的網站），第一種情境的範例寫法如下：
# 允許 ChatGPT 搜尋呈現網站
User-agent: OAI-SearchBot
Allow: /
# 允許 ChatGPT 廣告落地頁驗證
User-agent: OAI-AdsBot
Allow: /
# 用戶主動發起的讀取（robots.txt 規則可能不適用）
User-agent: ChatGPT-User
Allow: /
# GPTBot 屬於內容政策選擇：允許用 Allow: /，不希望用於訓練則改成 Disallow: /
User-agent: GPTBot
Allow: /
選擇不讓內容用於訓練，只需把 GPTBot 改為 Disallow: /，其餘三組維持允許。
怎麼檢查目前的設定有沒有問題？
檢查分四步：開啟 robots.txt 確認實際內容、用模擬指令測試防火牆是否擋掉爬蟲的 User-Agent、查看伺服器日誌是否有 OpenAI 爬蟲的請求紀錄、最後比對 OpenAI 公開的 IP 範圍。四步分別對應「規則寫了什麼」和「實際發生了什麼」，兩者不一致時，問題通常出在防火牆。
第一步，開啟 你的網域 /robots.txt。 確認沒有誤留的 Disallow: /，以及四種爬蟲各自的規則是否符合預期。
第二步，用 curl 模擬爬蟲的 User-Agent：
curl -I -A "OAI-SearchBot" https://你的網域/
如果回傳 403、挑戰頁面或連線被拒，代表防火牆有針對這個 User-Agent 的規則。注意這個測試只能驗證依 User-Agent 比對的規則，若防火牆同時以 IP 驗證，真實爬蟲的結果可能不同。
第三步，查看伺服器日誌。 日誌裡是否有 OAI-SearchBot、GPTBot、ChatGPT-User 的請求，以及回應狀態碼是否為成功。Google Analytics 這類以瀏覽器 JavaScript 為基礎的工具，看不到爬蟲流量。
第四步，比對 IP 範圍。 將日誌中的來源 IP，對照 OpenAI 公開的 IP 範圍檔，確認是真實爬蟲，也可以用同一份清單設定放行。
如果你的品牌正在準備 ChatGPT 廣告，koodata 酷訊搜索的服務範圍可以評估：
koodata 酷訊搜索是台灣的數位行銷代理商，成立逾十年，同時持有 Meta Business Partner（Online Gold）、Google Partner、LINE Digital Sales Partner（Silver）、Dcard Sales Partner 四項官方認證，廣告費實報實銷不賺差價，總部位於台北市中山區。
需要確認官網對 AI 爬蟲的實際開放狀況：協助檢查 robots.txt、WAF 與 CDN 設定，確認 OAI-SearchBot 與 OAI-AdsBot 沒有被擋，避免 GEO 內容與 ChatGPT 廣告落地頁因爬蟲問題失效
需要 GEO 內容結構優化：在爬蟲能進得來的前提下，優化頁面的答案膠囊、FAQ Schema 與段落結構，提高被 AI 引用的機率
需要準備 ChatGPT 廣告上線：協助落地頁驗證、素材與轉換追蹤設定
☕ 品嚐最後一口咖啡，看看 koodata 的總結
AI 爬蟲不是「全擋」或「全開」的二選一，而是四個獨立的決定：
第一，GPTBot 是內容政策的選擇。 封鎖它只影響訓練用途，不會讓你從 ChatGPT 搜尋消失。
第二，OAI-SearchBot 決定你在 ChatGPT 搜尋的能見度。 對想被 AI 引用的品牌，這是最不該擋的一個。
第三，要投 ChatGPT 廣告，OAI-AdsBot 必須被允許。 落地頁驗證不過，廣告就跑不出去。
第四，robots.txt 只是請求。 規則寫對了，還要確認 WAF 與 CDN 沒有把爬蟲擋在門外。
最直接的第一步，是現在就開啟你的官網 /robots.txt，看看它實際寫了什麼。
相關文章推薦：
FAQ：關於 OpenAI 爬蟲與 robots.txt 的常見問題
Q1. OpenAI 有哪些爬蟲？各自的用途是什麼？ A：OpenAI 目前公開說明四種爬蟲：GPTBot 蒐集可能用於模型訓練的內容；OAI-SearchBot 在 ChatGPT 搜尋功能中呈現網站；ChatGPT-User 處理用戶在 ChatGPT 或 Custom GPT 中主動要求的網頁讀取；OAI-AdsBot 驗證被送審為 ChatGPT 廣告的落地頁。四者在 robots.txt 的設定彼此獨立，一個規則不會涵蓋另一個。
Q2. 封鎖 GPTBot 會影響網站在 ChatGPT 搜尋的能見度嗎？ A：不會。OpenAI 說明 GPTBot 與 OAI-SearchBot 的設定彼此獨立，網站可以允許 OAI-SearchBot 以出現在搜尋結果中，同時禁止 GPTBot 表示內容不應用於訓練。封鎖 GPTBot 只影響訓練用途，不會讓網站從 ChatGPT 搜尋答案中消失。
Q3. 想出現在 ChatGPT 搜尋答案裡，要允許哪個爬蟲？ A：要允許 OAI-SearchBot。OpenAI 說明，選擇退出 OAI-SearchBot 的網站不會顯示在 ChatGPT 搜尋答案中，雖然仍可能以導覽連結的形式出現。只封鎖 GPTBot 不會有這個效果。
Q4. 投放 ChatGPT 廣告，需要允許哪個爬蟲？ A：需要允許 OAI-AdsBot。OpenAI 官方的廣告主指引指出，OAI-AdsBot 負責驗證廣告落地頁，必須能存取被送審的頁面，同時建議一併允許 OAI-SearchBot。需檢查 robots.txt、WAF、CDN、機器人防護、JavaScript 驗證、CAPTCHA、登入驗證、頻率限制與地區規則，修正後廣告可能需要重新上傳或重新送審。
Q5. ChatGPT-User 會遵守 robots.txt 嗎？ A：不一定。OpenAI 說明 ChatGPT-User 用於用戶在 ChatGPT 或 Custom GPT 中主動發起的動作，不用於自動爬取網頁，因為這些動作是用戶發起的，robots.txt 規則可能不適用。OpenAI 建議以 OAI-SearchBot 管理搜尋的退出設定。
Q6. 為什麼 robots.txt 允許了爬蟲，還是被擋？ A：因為 robots.txt 只是對爬蟲的請求，不是存取控制。WAF、CDN 或機器人防護仍可能對被 robots.txt 允許的爬蟲回傳挑戰頁面或拒絕連線，JavaScript 驗證、CAPTCHA、登入驗證、頻率限制與地區規則也都可能造成阻擋。需要分別檢查 robots.txt 與防火牆兩層設定。
Q7. Squarespace 網站可以編輯 robots.txt 嗎？ A：不能直接編輯。Squarespace 只提供後台的 Crawlers 設定（路徑通常為 Settings → Crawlers），可勾選「Block known artificial intelligence crawlers」，預設為關閉，且是全有或全無，無法逐一指定爬蟲。根據 2026 年 10 月的第三方整理，勾選後會封鎖 GPTBot，但不包含 OAI-SearchBot 與 ChatGPT-User。實際內容請開啟 你的網域/robots.txt 確認。
Q8. 怎麼確認來訪的爬蟲是真的 OpenAI，而不是偽造的？ A：要比對 IP。User-Agent 字串可以被偽造，OpenAI 為各爬蟲公開了 IP 範圍檔（gptbot.json、searchbot.json、chatgpt-user.json、adsbot.json）。將伺服器日誌的來源 IP 對照這些範圍，就能確認來源，同一份清單也可以用於防火牆的放行設定。
Q9. 品牌官網應該允許 GPTBot 嗎？ A：這屬於內容政策的選擇，OpenAI 並未規定。不希望內容被用於訓練的出版者或擁有授權內容的企業，可以封鎖；沒有這類顧慮的品牌，可以允許。無論選擇哪一種，都不影響 OAI-SearchBot 的設定，因此不會改變網站在 ChatGPT 搜尋的能見度。
資料說明：本文整理自 OpenAI 公開的爬蟲文件（Overview of OpenAI Crawlers）與 OpenAI Help Center 的廣告主指引（Advertiser Guidance for Allowing OpenAI Web Crawlers），並與第三方整理交叉比對，包含 Momentic Marketing、GEO Toolbox、eSEOspace、SquirrelScan 與 SEOmatic 等。標示為「koodata 實測」的項目來自實際操作 ChatGPT Ads Manager 的觀察。OpenAI 爬蟲的名稱、版本與規則可能調整，實際以 OpenAI 官方文件為準。
作者 Hugh Chen
喜歡甜食、文字與電影。吟遊詩人是正職，在數位行銷領域兼差超過 10 年。
相信身處在這個擁有豐富網路資源的時代的人都蘊含無限可能。如果有心學習，早餐店阿姨都有可能變成廣告高手亦或油畫大師。
你終究可以成爲你想成爲的。只要持之以恆，時間最終會替你報以掌聲。
• • •
