爬取页面

graph LR
A[设置您的<br>Cloudflare 账户] --> B[验证您的<br>AI 爬虫]
B --> C[发现<br>收费内容]
C --> D[连接至<br>Stripe]
D --> E[爬取页面]:::highlight
classDef highlight fill:#F6821F,color:white

一旦您的 AI 爬虫符合 Web Bot Auth 协议，您就可以开始爬取网页。有关单次爬网付费如何工作的更多信息，请参阅什么是单次爬网付费 (Pay Per Crawl)？

当 AI 爬虫向受单次爬网付费保护的页面发出请求时，服务器将响应 HTTP/2 402 Payment Required。此响应还将包含 crawler-price 标头，用于指定访问该内容的费用。例如，响应可能类似于以下内容：

HTTP/2 402
date: Fri, 06 Jun 2025 08:42:38 GMT
crawler-price: USD 0.01

要访问此内容，AI 爬虫必须提供用于付费访问的标头。

您的 AI 爬虫可以通过提供以下两个标头之一来指定其愿意支付的价格：

• crawler-exact-price：这是 AI 爬虫配置为访问所支付的准确价格。此值应与响应标头 crawler-price 中设置的价格完全匹配。如果您的 AI 爬虫首先收到了 HTTP 状态码 402，且您希望通过支付 crawler-price 访问该内容，请在第二次请求中包含此标头。
• crawler-max-price：这是 AI 爬虫配置为访问任何内容所支付的最大价格。如果您希望以等于或低于最大价格的爬网价格访问任何单次爬网付费内容，请使用此选项。如果页面的 crawler-price 高于您的 crawler-max-price，您的 AI 爬虫将收到 HTTP 402 响应。

按照 对您的请求进行签名 中的步骤包含 Web Bot Auth 标头。

当您指定标头以指示付款时，您可能会收到以下两种响应之一：

crawler-charged 标头的值表示该请求将从您的 Cloudflare 账户扣除的准确金额。

HTTP 200
date: Fri, 06 Jun 2025 08:42:38 GMT
crawler-charged: USD 0.01

如果请求不成功，您将收到一个错误响应，其中带有指示具体问题的 crawler-error 标头。

HTTP/2 402
date: Fri, 06 Jun 2025 08:42:38 GMT
content-type: text/plain; charset=utf-8
crawler-price: USD 0.01
crawler-error: InvalidCrawlerExactPrice

有关完整的错误代码列表和排障指南，请参阅单次爬网付费错误代码。

当您成功访问单次爬网付费内容（响应 HTTP 状态码 200）时，响应将包含 crawler-charged。例如：

crawler-charged: USD 0.01

Cloudflare 强烈建议跟踪并保存这些值，以准确记录您的 AI 爬虫所产生的账单。

您可能希望参考以下资源：

• 发现收费内容
• 单次爬网付费错误代码
• 单次爬网付费常见问题