你只能抓取已加入同一 Cloudflare 账户的域名。有关如何将域名添加到 Cloudflare 账户,请参阅 接入域名。
如果你的网站有位于身份验证之后的页面,或仅对已登录用户可见的页面,可配置自定义 HTTP 请求头,使 AI Search 爬虫能够访问这些受保护内容。你最多可为 AI Search 抓取站点时发送的请求添加五个自定义 HTTP 请求头。
此设置在仪表板的 Parser options(解析选项) 下标记为 Extra headers(额外标头)。在 REST API 和 Wrangler 中,对应字段为 source_params.web_crawler.parse_options.include_headers。
-
在 Cloudflare 仪表板中,前往 AI Search 页面。
前往 AI Search ↗ -
选择 Create(创建),然后将数据源选择为 Website(网站)。要为现有实例添加请求头,请选择该实例并打开 Settings(设置) 选项卡。
-
在 Parser options(解析选项) 下,找到 Extra headers(额外标头)。
-
添加请求头,在 Key(键) 中输入请求头名称,在 Value(值) 中输入请求头值。例如 Key 为
Authorization,Value 为Bearer <TOKEN>。 -
按需重复添加,最多五个。
-
保存更改。
爬虫向站点发出的每个请求都会发送你配置的全部请求头。在现有实例上添加或更改请求头会启动新的索引作业,并重新索引每个条目。
要允许 AI Search 抓取受 Cloudflare Access 保护的站点,需要创建服务令牌凭据,并将其配置为自定义请求头。
服务令牌会绕过用户身份验证,请确保 Access 策略已针对你要索引的内容正确配置。服务令牌将允许 AI Search 爬虫访问 Service Auth 策略所覆盖的所有内容。
-
在 Cloudflare 仪表板 ↗ 中,创建服务令牌。生成 Client ID(客户端 ID) 和 Client Secret(客户端密钥) 后,请保存以供后续步骤使用。例如它们可能如下所示:
CF-Access-Client-Id: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx.access CF-Access-Client-Secret: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx -
创建策略,配置如下:
- 添加 Include(包含) 规则,将 Selector(选择器) 设为 Service token(服务令牌)。
- 在 Value(值) 中,选择你在步骤 1 中创建的服务令牌。
-
将自托管应用添加到 Access,配置如下:
- 在 Access policies(Access 策略) 中,点击 Select existing policies(选择现有策略)。
- 选择刚创建的策略,然后选择 Confirm(确认)。
-
在 Cloudflare 仪表板中,前往 AI Search 页面。
前往 AI Search ↗ -
选择 Create(创建)。
-
将数据源选择为 Website(网站)。
-
在 Parser options(解析选项) 下,找到 Extra headers(额外标头),使用已保存的凭据添加以下两个请求头:
- Header 1:
- Key(键):
CF-Access-Client-Id - Value(值):
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx.access
- Key(键):
- Header 2:
- Key(键):
CF-Access-Client-Secret - Value(值):
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
- Key(键):
- Header 1:
-
完成 AI Search 设置流程以创建搜索实例。