本指南将指导您如何：
- 查看与您域名（即 Cloudflare 区域 (Zone)）下的页面进行交互的 AI 爬虫。
- 使用 AI Crawl Control 阻止特定的爬虫访问您的内容。
- 注册一个 Cloudflare 账户 ↗。
- 将您的域名连接到 Cloudflare。
- 确保您的域名正在通过 Cloudflare 代理流量。
-
前往 AI Crawl Control（AI 爬网控制）。
Go to AI Crawl Control ↗ -
在 **Overview（概述）**选项卡中，审查您 AI 爬虫活动的快照。
-
使用筛选器查看特定日期范围、爬虫、运营商、主机名或路径的活动。
要阻止特定的 AI 爬虫：
-
前往 AI Crawl Control（AI 爬网控制）。
Go to AI Crawl Control ↗ -
在 **Crawlers（爬虫）**选项卡中，审查有哪些 AI 爬虫正在访问您的域名。
-
在 **Action（操作）**列中，选择 Block（阻止）。
要阻止特定的 AI 爬虫：
-
前往 AI Crawl Control（AI 爬网控制）。
Go to AI Crawl Control ↗ -
在 **Crawlers（爬虫）**选项卡中，审查有哪些 AI 爬虫正在访问您的域名。
-
在 **Action（操作）**列中，选择 Block（阻止）。
有关详细信息，请参阅管理 AI 爬虫。
在对 AI 爬虫采取行动时，您还可以使用 Cloudflare WAF 创建更复杂的规则。有关创建更具体规则的详细信息，请参阅在仪表板中创建自定义规则。
有关更详细的分析，请使用 **Metrics（指标）**选项卡。
-
前往 AI Crawl Control（AI 爬网控制）。
Go to AI Crawl Control ↗ -
在 **Metrics（指标）**选项卡中，按日期范围、爬虫、运营商、状态码、主机名或路径审查详细细分。
请注意，在免费计划中，**Metrics（指标）**选项卡仅显示过去 24 小时的指标。
| 所有计划 | 带有 Bot Management 的 Enterprise 计划 |
|---|---|
| 通过 User Agent 字符串 ↗ 进行 AI 爬虫检测 | 通过 Bot Management 检测 ID 进行高级 AI 爬虫检测 |
| 最多 24 小时的分析窗口 | 可配置的分析时间范围 |
| 允许/阻止控制 | 允许/阻止控制，以及使用 单次爬网付费 向 AI 爬虫收费的能力 |
请参阅以下相关资源：
- Cloudflare 博客：开始审计和控制访问您内容的 AI 模型 ↗
- 使用 Cloudflare AI Labyrinth 阻止不遵守推荐指南的 AI 爬虫。
- 通过托管的 robots.txt 指导 AI 爬虫。