跳转到内容
搜索文档

AI Crawl Control 与 Cloudflare Bot 管理

最后更新 查看 MarkdownAgent 设置

AI Crawl Control 可与其他 Cloudflare 产品一起使用,例如 Cloudflare Bot 解决方案。Bot 解决方案能够识别与已知 Bot 匹配的流量模式,并可以根据您的意愿对 Bot 进行验证或阻止。

优先级顺序

  • AI Crawl Control 的 AI 爬虫阻止使用 WAF 自定义规则,该规则在 Cloudflare Bot 解决方案之前执行。
  • AI Crawl Control 的单次爬网付费 (Pay Per Crawl) 功能在 Cloudflare Bot 解决方案之后执行。
graph LR
A[Traffic] --> B[WAF custom rules<br>AI Crawl Control: Crawler blocks]
B --> C[Cloudflare<br>Bot Solutions]
C --> D[AI Crawl Control:<br>Pay Per Crawl]
classDef highlight fill:#F6821F,color:white

有关 Cloudflare 如何对 Bot 流量进行分类的详细信息,请参阅 AI Bot

示例

请考虑以下示例。

阻止所有 AI Bot 的 Bot 规则 vs 单次爬网付费

您可能同时启用了以下两个功能:

  • 在 AI Crawl Control 的单次爬网付费中选择要收费的 AI 爬虫
  • 启用 阻止 AI Bot 的 Bot 配置选项。

由于单次爬网付费发生在 Bot 解决方案之后,因此您需要首先关闭 Block AI bots(阻止 AI Bot),以确保单次爬网付费按预期工作。

这篇文档对您有帮助吗?