AI Crawl Control 中的 **Directives（指令）**选项卡提供了有关 AI 爬虫如何与您主机名下的 robots.txt 文件交互的深入见解。您可以监控请求模式、验证文件可用性、识别违反您指令的爬虫，并评估您的网站对 AI Agent 的就绪状态。
要访问指令分析：
-
登录 Cloudflare 仪表板 ↗，然后选择您的账户和域名。
-
前往 AI Crawl Control（AI 爬网控制）。
Go to AI Crawl Control ↗ -
前往 **Directives（指令）**选项卡。
该选项卡顶部的状态卡显示 Cloudflare 是否正在管理您的 robots.txt 文件。
启用后，Cloudflare 将在您的 robots.txt 中包含阻止用于训练的通用 AI 爬虫的指令，并包含其内容信号政策 (Content Signals Policy)。有关 Cloudflare 如何管理您的 robots.txt 文件的更多详细信息，请参阅托管的 robots.txt。
您可以应用该选项卡顶部的筛选器，以缩小对 robots.txt 请求的分析范围：
- 按特定的爬虫名称进行筛选（例如，Googlebot 或特定的 AI Bot）。
- 按运行爬虫的实体进行筛选，以了解直接授权许可的机会或现有协议。
- 按通用使用场景进行筛选（例如，AI 训练、通用搜索或 AI 助手）。
- 选择自定义的时间范围以进行历史分析。
所有表格和指标中的值都会根据您的筛选器进行更新。
Robots.txt 可用性表显示了在所选时间范围内，您各主机名下 robots.txt 文件的历史请求频率和健康状态。
| 列名 | 描述 |
|---|---|
| Path（路径） | 被请求的特定主机名的 robots.txt 文件。路径按被请求次数从多到少排列。 |
| Requests（请求数） | 对该路径发起的请求总数。请求分为： - Successful（成功）：HTTP 状态码低于 400（包括 200 OK 和重定向）。 - Unsuccessful（不成功）：HTTP 状态码为 400 或以上。 |
| Status（状态） | 对 robots.txt 文件进行 Ping 操作后的 HTTP 状态码。 |
| Content Signals（内容信号） | 指明 robots.txt 文件中是否包含 Content Signals ↗（内容信号），即关于在 AI 训练、搜索或 AI 输入中使用的指令。 |
从该表格中，您可以采取以下操作：
- 监控大量不成功的请求，这表明爬虫在访问您的
robots.txt文件时遇到了困难。- 如果状态为
404 Not Found，请创建一个robots.txt文件以提供明确的指令。 - 如果文件存在，请检查是否有上游的 WAF 规则或其他安全设置阻止了访问。
- 如果状态为
- 如果 **Content Signals（内容信号）**列显示缺失信号，请将其添加到您的
robots.txt文件中。您可以通过遵循 Content Signals ↗（内容信号）指导，或者通过启用托管的robots.txt让 Cloudflare 为您管理它们来完成此操作。
Robots.txt 违规表识别了请求您 robots.txt 文件中明确禁止路径的 AI 爬虫。这有助于您识别不合规的爬虫并采取适当的操作。
| 列名 | 描述 |
|---|---|
| Crawler（爬虫） | 违反您 robots.txt 指令的 Bot 名称。爬虫的所有者（运营商）直接列在爬虫名称下方。 |
| Path（路径） | 爬虫企图访问的、被您 robots.txt 文件禁止的特定 URL 或路径。 |
| Directive（指令） | 您 robots.txt 文件中禁止访问该路径的确切行。 |
| Violations（违规次数） | 在选定的时间范围内，对该被禁止的路径/指令对发起的 HTTP 请求次数。 |
当您识别出违反您 robots.txt 指令的爬虫时，您有以下几个选项：
- 前往 **Crawlers（爬虫）**选项卡永久阻止该不合规的爬虫。
- 使用 Cloudflare WAF 为违规的爬虫创建针对特定路径的安全规则。
- 使用重定向规则引导违规爬虫前往您网站的适当区域。
**Agent Readiness（Agent 就绪状态）**卡可帮助您评估您的网站针对 AI Agent 的配置情况。选择 **Check readiness score（检查就绪状态评分）**以根据 AI Agent 交互的新兴标准对您的网站进行扫描，包括：
- Robots.txt 配置：您的网站是否具有包含适当指令的有效
robots.txt文件 - Markdown for Agents（面向 Agent 的 Markdown）：您的网站是否支持针对 AI 优化内容交付的内容协商
- Content Signals Policy（内容信号政策）：您的网站是否向 AI 爬虫表明了内容使用偏好
该扫描由 isitagentready.com ↗ 提供支持。结果包括改进您网站与 AI Agent 和爬虫兼容性的建议。