Cloudflare 爬虫

Cloudflare 可能会爬取您的站点或向您的站点发出 HTTP 请求，以确保其受到保护并正常运行。

当您启用特定产品时，Cloudflare 会爬取您的站点：

• Always Online
  • User-Agent: Mozilla/5.0 (compatible; CloudFlare-AlwaysOnline/1.0; +http://www.cloudflare.com/always-online)
• Health checks
  • User-Agent: Mozilla/5.0 (compatible; Cloudflare-Healthchecks/1.0; +https://www.cloudflare.com/; healthcheck-id: <HEALTHCHECK_ID>)
  • HEALTHCHECK_ID 是与健康检查 ID 关联的 16 字符字符串。
• Load balancing monitors
  • User-Agent: Mozilla/5.0 (compatible; Cloudflare-Traffic-Manager/1.0; +https://www.cloudflare.com/traffic-manager/; pool-id: <POOL_ID>)
  • POOL_ID 是与被监控的负载均衡池 ID 关联的 16 字符字符串。
• Prefetch URLs
  • User-Agent: Mozilla/5.0 (compatible; CloudFlare-Prefetch/0.1; +http://www.cloudflare.com/)
• SSL/TLS recommender
  • User-Agent: Cloudflare-SSLDetector
  • 除非有明确针对该 user agent 的规则，否则此爬虫会忽略您的 robots.txt 文件。
• Security Insights
  • User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36 (compatible; +https://developers.cloudflare.com/security-center/)

Cloudflare 还会在以下特定场景中爬取您的站点：

• 速度测试
  • User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36 PTST/190628.140653
  • 触发条件：您在 Cloudflare 仪表板中启动速度测试时。
• 支持诊断：
  • User-Agent: Cloudflare-diagnostics
  • 触发条件：Cloudflare 支持工程师执行错误检查，以及用于在 Cloudflare 仪表板中触发智能警报的持续监控。
• Custom Hostname 验证：
  • User-Agent: Cloudflare Custom Hostname Verification
  • 触发条件：您选择使用 HTTP 所有权令牌验证自定义主机名时。

Browser Run 是 Cloudflare 开发者产品，可以代表 Cloudflare 客户爬取第三方网站。与"爬取场景"部分中的爬虫不同，它不会作为您已启用的 Cloudflare 服务的一部分爬取您的站点。它供使用 Cloudflare 平台构建应用程序的开发者使用。

Browser Run /crawl 端点 使用 User-Agent CloudflareBrowserRenderingCrawler/1.0。有关不可配置的头、bot 检测 ID 以及可用于识别或阻止 Browser Run 流量的加密验证方法，请参阅自动请求头。

AI Search 是 Cloudflare 开发者产品，用于索引您的网站内容以便搜索。AI Search 爬虫仅爬取您拥有的网站（域名必须存在于同一 Cloudflare 账户中），且您将其选为 AI Search 中的数据源。

该爬虫使用 User-Agent Cloudflare-AI-Search。您可以使用其 bot 检测 ID 通过 WAF 规则允许或阻止它。