跳转到内容
本站为社区维护的非官方中文翻译,与 Cloudflare, Inc. 无关联。本站不提供账户登录,请勿在任何非官方站点输入您的 Cloudflare 账户信息。官方文档:developers.cloudflare.com

认证请求头

最后更新 查看 MarkdownAgent 设置

你只能抓取已加入同一 Cloudflare 账户的域名。有关如何将域名添加到 Cloudflare 账户,请参阅 接入域名。

如果你的网站有位于身份验证之后的页面,或仅对已登录用户可见的页面,可配置自定义 HTTP 请求头,使 AI Search 爬虫能够访问这些受保护内容。你最多可为 AI Search 抓取站点时发送的请求添加五个自定义 HTTP 请求头。

此设置在仪表板的 Parser options(解析选项) 下标记为 Extra headers(额外标头)。在 REST API 和 Wrangler 中,对应字段为 source_params.web_crawler.parse_options.include_headers。

在仪表板中配置

  1. 在 Cloudflare 仪表板中,前往 AI Search 页面。

    前往 AI Search ↗
  2. 选择 Create(创建),然后将数据源选择为 Website(网站)。要为现有实例添加请求头,请选择该实例并打开 Settings(设置) 选项卡。

  3. 在 Parser options(解析选项) 下,找到 Extra headers(额外标头)。

  4. 添加请求头,在 Key(键) 中输入请求头名称,在 Value(值) 中输入请求头值。例如 Key 为 Authorization,Value 为 Bearer <TOKEN>。

  5. 按需重复添加,最多五个。

  6. 保存更改。

爬虫向站点发出的每个请求都会发送你配置的全部请求头。在现有实例上添加或更改请求头会启动新的索引作业,并重新索引每个条目。

索引受 Cloudflare Access 保护的站点

要允许 AI Search 抓取受 Cloudflare Access 保护的站点,需要创建服务令牌凭据,并将其配置为自定义请求头。

服务令牌会绕过用户身份验证,请确保 Access 策略已针对你要索引的内容正确配置。服务令牌将允许 AI Search 爬虫访问 Service Auth 策略所覆盖的所有内容。

  1. 在 Cloudflare 仪表板 ↗ 中,创建服务令牌。生成 Client ID(客户端 ID) 和 Client Secret(客户端密钥) 后,请保存以供后续步骤使用。例如它们可能如下所示:

    CF-Access-Client-Id: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx.access
    CF-Access-Client-Secret: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
  2. 创建策略,配置如下:

    • 添加 Include(包含) 规则,将 Selector(选择器) 设为 Service token(服务令牌)。
    • 在 Value(值) 中,选择你在步骤 1 中创建的服务令牌。
  3. 将自托管应用添加到 Access,配置如下:

    • 在 Access policies(Access 策略) 中,点击 Select existing policies(选择现有策略)。
    • 选择刚创建的策略,然后选择 Confirm(确认)。
  4. 在 Cloudflare 仪表板中,前往 AI Search 页面。

    前往 AI Search ↗
  5. 选择 Create(创建)。

  6. 将数据源选择为 Website(网站)。

  7. 在 Parser options(解析选项) 下,找到 Extra headers(额外标头),使用已保存的凭据添加以下两个请求头:

    • Header 1:
      • Key(键):CF-Access-Client-Id
      • Value(值):xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx.access
    • Header 2:
      • Key(键):CF-Access-Client-Secret
      • Value(值):xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
  8. 完成 AI Search 设置流程以创建搜索实例。

这篇文档对您有帮助吗?