你可以将自己拥有的网站连接为 AI Search 实例的数据源。AI Search 会自动抓取并索引页面。
你只能抓取已加入同一 Cloudflare 账户的域名。有关如何将域名添加到 Cloudflare 账户,请参阅 接入域名。
你可以在通过 仪表板、REST API 或 Wrangler 创建新实例时连接网站。网站是可选数据源,可与 内置存储 一并添加。
AI Search 会查找站点上的页面、获取每一页、转换为 Markdown、拆分为分块,然后加入索引。解析类型 控制如何找到页面:
- Sitemap(默认):读取站点发布的 XML sitemap。
- Discover:从源 URL 开始,默认同时使用 sitemap 以及它在已抓取页面上找到的链接。
每种类型如何查找页面、如何处理 sitemap 与同步,以及哪些设置仅适用于其中一种,请参阅 解析类型。
抓取的页面会自动存储在内置存储中。
要查看从网站解析出的条目,请使用 Items API 列出实例的条目,或在仪表板中打开 Items(项目) 选项卡(AI > AI Search > 你的实例 > Items(项目))。
可在接入过程中配置这些选项,或稍后在实例设置的 Parser options(解析选项) 下配置。
| 选项 | 说明 |
|---|---|
| 路径过滤 | 包含与排除 URL 模式,决定抓取哪些页面。 |
| 解析类型 | 爬虫如何找到页面。Sitemap 读取 XML sitemap。Discover 从源 URL 开始,默认同时使用 sitemap 以及找到的链接。 |
| 指定 sitemap | 抓取你选择的一组 sitemap URL,而不是 AI Search 自动发现的。最多五个 URL。仅适用于 sitemap 解析类型。 |
| Discover 选项 | 发现来源、页面上限、抓取深度、缓存年龄,以及是否跟随外部链接和子域名。仅适用于 discover 解析类型。 |
| 渲染模式 | 页面是作为原始 HTML 下载,还是先在无头浏览器中加载。 |
| 认证请求头 | 随每个请求发送的自定义 HTTP 请求头,使爬虫能够访问位于身份验证之后的页面。最多五个请求头。 |
| 内容选择器 | 将索引限制为 CSS 选择器匹配的元素,以便跳过导航、侧边栏和页脚。 |
| 自定义元数据 | 从每个页面 <head> 中的 <meta> 标签提取的值,与已索引内容一并存储。 |
你可以通过定义 URL 路径的包含与排除规则,控制哪些页面被索引。用它将索引限制在站点的特定部分,或排除你不希望可搜索的内容。
例如,仅索引博文并排除草稿:
- Include:
**/blog/** - Exclude:
**/blog/drafts/**
有关模式语法、过滤行为及更多示例,请参阅 路径过滤。
有关支持的文件类型和大小限制,请参阅 数据源。
你可以选择抓取时如何解析页面:
- Static sites(静态站点):下载每个页面的原始 HTML。
- Rendered sites(渲染站点):使用无头浏览器加载页面,并下载完整渲染版本(包括动态 JavaScript 内容)。
如果你配置了用于阻止机器人活动的安全规则,可以添加规则将 AI Search 爬虫加入允许列表。其已验证身份与用户代理请参阅 Cloudflare Radar 机器人目录中的 AI Search ↗。
-
在 Cloudflare 仪表板中,前往 Security rules(安全规则) 页面。
前往 Security rules(安全规则) ↗ -
要创建新的空规则,选择 Create rule(创建规则) > Custom rules(自定义规则)。
-
在 Rule name(规则名称) 中输入描述性名称,例如
Allow AI Search。 -
在 When incoming requests match(当传入请求匹配时) 下,使用 Field(字段) 下拉列表选择 Bot Detection ID。Operator(运算符) 选择 equals。Value(值) 输入
122933950。 -
在 Then take action(然后执行操作) 下,在 Choose action(选择操作) 下拉列表中选择 Skip。
-
在 Place at(放置位置) 下,在 Select order(选择顺序) 下拉列表中将规则顺序选为 First。将顺序设为 First 可使该规则在后续规则之前应用。
-
要保存并部署规则,选择 Deploy(部署)。
使用 Website 数据源时,适用常规的 AI Search 限制。以下限制适用于两个 Workers 计划上的网站数据源:
| 限制 | 值 |
|---|---|
每次抓取的页面数,discover 解析类型 |
100,000 |
抓取深度,discover 解析类型 |
100,000 次链接跳转(默认 5) |
缓存页面年龄,discover 解析类型 |
604,800 秒(7 天) |
| 指定 sitemap URL | 每个实例 5 个 |
| 认证请求头 | 每个实例 5 个 |
| 内容选择器 条目 | 每个实例 10 个 |
| 内容选择器路径模式与选择器长度 | 各 200 个字符 |
每个实例的文件数 限制同样适用,因此有效上限取决于其中较低的值。爬虫会索引它访问到的第一批页面直到达到该上限,已下载但超过最大文件大小的文件将不会被索引。