跳转到内容
本站为社区维护的非官方中文翻译,与 Cloudflare, Inc. 无关联。本站不提供账户登录,请勿在任何非官方站点输入您的 Cloudflare 账户信息。官方文档:developers.cloudflare.com

网站

最后更新 查看 MarkdownAgent 设置

你可以将自己拥有的网站连接为 AI Search 实例的数据源。AI Search 会自动抓取并索引页面。

你只能抓取已加入同一 Cloudflare 账户的域名。有关如何将域名添加到 Cloudflare 账户,请参阅 接入域名。

快速入门

你可以在通过 仪表板、REST API 或 Wrangler 创建新实例时连接网站。网站是可选数据源,可与 内置存储 一并添加。

网站抓取的工作原理

AI Search 会查找站点上的页面、获取每一页、转换为 Markdown、拆分为分块,然后加入索引。解析类型 控制如何找到页面:

  • Sitemap(默认):读取站点发布的 XML sitemap。
  • Discover:从源 URL 开始,默认同时使用 sitemap 以及它在已抓取页面上找到的链接。

每种类型如何查找页面、如何处理 sitemap 与同步,以及哪些设置仅适用于其中一种,请参阅 解析类型。

存储

抓取的页面会自动存储在内置存储中。

要查看从网站解析出的条目,请使用 Items API 列出实例的条目,或在仪表板中打开 Items(项目) 选项卡(AI > AI Search > 你的实例 > Items(项目))。

配置

可在接入过程中配置这些选项,或稍后在实例设置的 Parser options(解析选项) 下配置。

选项 说明
路径过滤 包含与排除 URL 模式,决定抓取哪些页面。
解析类型 爬虫如何找到页面。Sitemap 读取 XML sitemap。Discover 从源 URL 开始,默认同时使用 sitemap 以及找到的链接。
指定 sitemap 抓取你选择的一组 sitemap URL,而不是 AI Search 自动发现的。最多五个 URL。仅适用于 sitemap 解析类型。
Discover 选项 发现来源、页面上限、抓取深度、缓存年龄,以及是否跟随外部链接和子域名。仅适用于 discover 解析类型。
渲染模式 页面是作为原始 HTML 下载,还是先在无头浏览器中加载。
认证请求头 随每个请求发送的自定义 HTTP 请求头,使爬虫能够访问位于身份验证之后的页面。最多五个请求头。
内容选择器 将索引限制为 CSS 选择器匹配的元素,以便跳过导航、侧边栏和页脚。
自定义元数据 从每个页面 <head> 中的 <meta> 标签提取的值,与已索引内容一并存储。

路径过滤

你可以通过定义 URL 路径的包含与排除规则,控制哪些页面被索引。用它将索引限制在站点的特定部分,或排除你不希望可搜索的内容。

例如,仅索引博文并排除草稿:

  • Include: **/blog/**
  • Exclude: **/blog/drafts/**

有关模式语法、过滤行为及更多示例,请参阅 路径过滤。

有关支持的文件类型和大小限制,请参阅 数据源。

渲染模式

你可以选择抓取时如何解析页面:

  • Static sites(静态站点):下载每个页面的原始 HTML。
  • Rendered sites(渲染站点):使用无头浏览器加载页面,并下载完整渲染版本(包括动态 JavaScript 内容)。

允许 AI Search 通过 WAF

如果你配置了用于阻止机器人活动的安全规则,可以添加规则将 AI Search 爬虫加入允许列表。其已验证身份与用户代理请参阅 Cloudflare Radar 机器人目录中的 AI Search ↗。

  1. 在 Cloudflare 仪表板中,前往 Security rules(安全规则) 页面。

    前往 Security rules(安全规则) ↗
  2. 要创建新的空规则,选择 Create rule(创建规则) > Custom rules(自定义规则)。

  3. 在 Rule name(规则名称) 中输入描述性名称,例如 Allow AI Search。

  4. 在 When incoming requests match(当传入请求匹配时) 下,使用 Field(字段) 下拉列表选择 Bot Detection ID。Operator(运算符) 选择 equals。Value(值) 输入 122933950。

  5. 在 Then take action(然后执行操作) 下,在 Choose action(选择操作) 下拉列表中选择 Skip。

  6. 在 Place at(放置位置) 下,在 Select order(选择顺序) 下拉列表中将规则顺序选为 First。将顺序设为 First 可使该规则在后续规则之前应用。

  7. 要保存并部署规则,选择 Deploy(部署)。

限制

使用 Website 数据源时,适用常规的 AI Search 限制。以下限制适用于两个 Workers 计划上的网站数据源:

限制 值
每次抓取的页面数,discover 解析类型 100,000
抓取深度,discover 解析类型 100,000 次链接跳转(默认 5)
缓存页面年龄,discover 解析类型 604,800 秒(7 天)
指定 sitemap URL 每个实例 5 个
认证请求头 每个实例 5 个
内容选择器 条目 每个实例 10 个
内容选择器路径模式与选择器长度 各 200 个字符

每个实例的文件数 限制同样适用,因此有效上限取决于其中较低的值。爬虫会索引它访问到的第一批页面直到达到该上限,已下载但超过最大文件大小的文件将不会被索引。

这篇文档对您有帮助吗?