Cloudflare 對 Perplexity：人工智慧網頁爬蟲與擷取之爭

Cloudflare 指控 AI 搜尋引擎 Perplexity 違反 Robots.txt 封鎖，進而擷取網站內容。在測試中，Cloudflare 研究人員設立了一個嚴格遵守 Robots.txt 規則的新網域，但據報 Perplexity 使用偽裝瀏覽器抓取並回應查詢。執行長 Matthew Prince 公開譴責此行為不道德，並承諾封鎖此類機器人。Perplexity 否認直接責任，並將責任推給第三方服務。此爭議凸顯 AI 擷取及網頁爬蟲協議的更大辯論。傳統上，像 Googlebot 這類良性機器人會遵守 Robots.txt 進行內容索引並引導流量，然而 AI 代理目前直接為使用者取得答案，可能導致網站訪問量與廣告收入減少。最新數據顯示 AI 流量已超越人類流量，惡意機器人佔所有線上流量的 37%。業界機構提議採用如 Web Bot Auth 等新標準，以加密方式識別合法的 AI 代理。隨著 AI 驅動的瀏覽增長，網站擁有者必須在開放存取與內容保護及收益之間取得平衡。此爭議將影響未來的網路治理，並影響搜尋引擎、AI 助理及線上商業模式。