跳转到内容
搜索文档
↵选择
↑↓导航
ESC关闭

AI Crawl Control 与 Cloudflare WAF

最后更新 查看 MarkdownAgent 设置

AI Crawl Control 可与其他 Cloudflare 产品一起使用，例如 Cloudflare Web Application Firewall (WAF)。WAF 会检查传入的 Web 和 API 请求，并根据规则过滤不需要的流量。WAF 自定义规则允许您执行某些操作，例如强制执行 robots.txt。

优先级顺序

  • AI Crawl Control 使用 WAF 自定义规则来阻止网站所有者决定阻止的选定 AI 爬虫。
  • AI Crawl Control 的单次爬网付费 (Pay Per Crawl) 功能在 WAF 之后执行。
graph LR
A[Traffic] --> B[WAF custom rules<br>AI Crawl Control: Crawler blocks]
B --> C[Cloudflare<br>Bot Solutions]
C --> D[AI Crawl Control:<br>Pay Per Crawl]
classDef highlight fill:#F6821F,color:white

因此，如果您计划使用 AI Crawl Control 来管理 AI 爬虫，您可能希望修改现有的 WAF 自定义规则，使其不影响 AI 爬虫。这将使您仅能从 AI Crawl Control 中管理 AI 爬虫，从而简化您的工作流。

使用 WAF 与 AI Crawl Control 的示例

请考虑以下示例。

限制国家/地区的流量 vs 单次爬网付费

您可能同时启用了以下两个功能：

由于 WAF 自定义规则在单次爬网付费之前强制执行，因此来自您阻止国家/地区的流量（包括 AI 爬虫）将继续被阻止，即使它们提供了单次爬网付费所 要求的标头。

通过 WAF 自定义规则允许搜索引擎 Bot vs 单次爬网付费

您可能同时启用了以下两个功能：

由于自定义规则在单次爬网付费之前执行：

  • 只有搜索引擎 Bot 才能访问您的网站（由自定义规则强制执行）。
  • 然后，这些搜索引擎 Bot 将需要为访问您的内容付费（由 AI Crawl Control 的单次爬网付费强制执行）。

排查允许的 Bot 的问题

如果您已在 AI Crawl Control 中将某些 AI 爬虫设置为 Allow（允许），但它们仍被阻止，请检查是否有上游的 WAF 自定义规则阻止了它们。由于 AI Crawl Control 规则仅包含被阻止的 Bot，因此允许的 Bot 仍可能受到在 AI Crawl Control 规则之前执行的其他安全规则的影响。

这些上游规则会影响流量，但可能在 AI Crawl Control 分析中不可见。请审查您的 WAF 自定义规则，以识别并修改可能阻止了您打算允许的 AI 爬虫的任何规则。

排查被阻止的 Bot 的问题

如果您已在 AI Crawl Control 中将某些 AI 爬虫设置为 Block（阻止），但它们仍在访问您的内容，请检查是否有上游规则绕过了 AI Crawl Control 规则。由于 AI Crawl Control 规则被添加在现有 WAF 自定义规则的末尾，因此以下类型的规则可能会允许 Bot 绕过该阻止：

  • 绕过 WAF 自定义规则的 Skip rules（跳过规则）
  • 更改请求路径的 Redirect rules（重定向规则）
  • 修改请求的 Transform rules（转换规则）

为了确保被阻止的 Bot 被正确阻止，请将 AI Crawl Control 规则移动到 WAF 自定义规则的顶部，以便它在其他规则之前执行。

AI 爬虫阻止逻辑冲突

您可能同时启用了以下两个功能：

  • 阻止所有 Bot 的 WAF 自定义规则。
  • 允许某些 AI 爬虫的 AI Crawl Control 选择。

在此场景中，您有两条自定义规则，每条规则对处理 AI 爬虫都指示了不同的逻辑。要解决此问题：

  1. 在 Cloudflare 仪表板中，前往 **Security rules（安全规则）**页面。

    Go to Security rules ↗

  2. 按 Custom rules（自定义规则）进行筛选。

  3. 识别您的自定义规则和 AI Crawl Control 规则。

  4. 将您希望优先执行的规则拖动到顶部，或修改您的自定义规则以确保它不会与您的 AI Crawl Control 配置发生冲突。

  1. 登录 Cloudflare 仪表板 ↗，然后选择您的账户和域名。
  2. 前往 Security（安全性）> WAF > **Custom rules（自定义规则）**选项卡。
  3. 识别您的 WAF 自定义规则和 AI Crawl Control 规则。
  4. 将您希望优先执行的规则拖动到顶部，或修改您的 WAF 自定义规则以确保它不会与您的 AI Crawl Control 配置发生冲突。

扩展 AI Crawl Control WAF 规则

对于大多数使用场景，建议直接在 AI Crawl Control 中管理爬虫。然而，底层的 WAF 规则支持针对仪表板未涵盖场景的额外自定义。

AI Crawl Control 规则名为 AI Crawl Control（AI 爬网控制），可以在 Security（安全性）> WAF > **Custom rules（自定义规则）**下找到。

常见的扩展包括：

  • 基于路径的例外，例如通过添加排除某些路径的 AND 子句，允许被阻止的爬虫访问您网站的特定部分。
  • 针对未在 AI Crawl Control 中列出的爬虫，添加额外的 User Agent 或检测 ID。
  • 添加额外的表达式子句，以将阻止限制在特定主机名或其他请求属性上。

当您随后在 AI Crawl Control 中更新爬虫操作时，您所做的任何添加都会被保留。如果表达式的修改方式导致 AI Crawl Control 无法解析，**Crawlers（爬虫）**页面上将出现一个警告横幅。选择横幅中的 **View rule in WAF（在 WAF 中查看规则）**以检查或纠正该规则。

这篇文档对您有帮助吗？