更新日志

并非所有 AI 流量都是相同的。现在，所有客户（包括使用免费计划的客户）都可以根据 AI 爬虫在您网站上的实际行为来对其进行管理。Cloudflare 将 AI 流量归类为三种行为，您可以对其进行独立控制：搜索 (Search)、代理 (Agent) 和训练 (Training)。这可以让您保留为您带来读者和收入的自动化流量，同时屏蔽那些只获取您内容的流量。

每种行为都对应一个真实的用例。Search（搜索） 涵盖了对您的内容进行索引以便稍后回答相关问题的爬虫，您可以期望从中获得引流流量或其他公平的补偿。Agent（代理） 涵盖代表个人实时操作的自动化活动，例如聊天获取机器人和浏览器使用代理。Training（训练） 涵盖获取您的内容以训练或微调模型的爬虫。对于每个预设，您可以选择在所有页面上屏蔽、仅在展示广告的页面上屏蔽，或选择不屏蔽。

自 2026 年 9 月 15 日起，新接入 Cloudflare 的域将获得更新的默认值：被归类为“Training（训练）”或“Agent（代理）”的机器人在显示广告的页面上将被屏蔽，而Search（搜索） 将保持允许状态。届时，结合了搜索和训练的通用爬虫将受到新的“Block Training（屏蔽训练）”默认值的影响。所有客户都可以在 9 月 15 日之前的任何时间选择退出新的默认值 ↗。

随着 2026 年内容独立日（Content Independence Day 2026）的到来，Enterprise Bot Management 客户获得了两个全新工具，使机器人流量更容易被查看和分析：BotBase（Cloudflare 跟踪的每个机器人的可搜索目录）以及 Attribution Business Insights（显示每个爬虫为您的业务带来的价值的仪表板）。

BotBase 是 Cloudflare 所有已知机器人和代理的目录，可直接在仪表板中访问。它显示了 Cloudflare 如何根据行为对每个机器人进行分类——Search、Agent、Training，以及其他类别（例如 Transact、Data Collection、SEO 和 Ads Verification）——以便您了解特定爬虫访问您的原因。您可以搜索和筛选完整的目录，将您自己的流量筛选到单个机器人以调查其在您的区域 (zone) 上的活动，并复制任何机器人的检测 ID 以在安全规则 (Security rules) 中对其进行精准定位。BotBase 中每个被跟踪的机器人也会发布在 Cloudflare Radar 的机器人和代理目录 ↗中。

Attribution Business Insights 专为内容所有者和业务决策者设计，使他们无需阅读规则语法即可了解哪些机器人对业务有益或有害。该仪表板会报告整个网站和每个机器人运营商在过去 24 小时、7 天或 30 天内的抓取与引流比例——将公司抓取您内容的频率与其实际引流回来的访问者数量进行对比。每个运营商都贴有 Cloudflare 更新的分类标签，以及“已允许 (Allowed)”、“已屏蔽 (Blocked)”或“部分屏蔽 (Partially blocked)”的操作状态，让利益相关者能够共享并一目了然地查看到达您网站的 AI 流量。