在 2026 年 9 月 15 日,Cloudflare 将为新域名设置更新的默认设置:被分类为“训练 (Training)”或“代理 (Agent)”的 bot 将在显示广告的页面上被阻止,而“搜索 (Search)”将保持允许。结合了“搜索”和“训练”的混合用途爬虫也将被所有阻止 AI 训练的配置(包括旧版的“阻止 AI bot”选项)所阻止。在 9 月 15 日之前,所有客户都可以选择退出这些新默认设置 ↗。
所有 Cloudflare 客户都可以根据其行为选择阻止 AI bot 和代理。Cloudflare 为最常见的 AI 行为提供预设,以便客户可以选择以不同方式对待不同的 AI 用例:
- Search(搜索):收集或索引您的内容以便稍后回答有关内容的问题的爬虫。
- Agent(代理):代表个人实时运行的自动化活动,例如聊天获取 bot 和浏览器使用代理。
- Training(训练):提取您的内容以训练或微调模型的爬虫,包括用于训练和搜索的混合用途爬虫。
每个阻止选项都将阻止具有该分类行为的已验证 bot,以及属于这些分类的其他未验证 bot。
每项设置包括三个缓解选项:
- Block (on all pages)(阻止(在所有页面上)) - 在整个区域内发出阻止。
- Block on pages with ads(在有广告的页面上阻止) - 对您区域内显示广告的页面使用 Cloudflare 自动检测,以仅在这些页面上进行阻止。
- Allow (do not block)(允许(不阻止)) - 不添加任何阻止。
要配置这些策略,客户可以前往 Security settings(安全设置) > Configure AI bot policies(配置 AI bot 策略)。
此设置会阻止被分类为以 AI 训练为目的进行抓取的已验证 bot,以及大量行为相似的未验证 bot。
要配置此设置并设置其对阻止混合用途 bot 的偏好,客户可以前往 Security settings(安全设置) > Block AI bots(阻止 AI bot)。