解析类型控制 AI Search 如何在 网站数据源 上找到要索引的页面。AI Search 支持两种解析类型。
| 解析类型 | 页面发现 | 适用场景 |
|---|---|---|
sitemap(默认) |
读取 robots.txt 中声明的 XML sitemap,或你配置的 sitemap URL。不跟随链接。 |
你的站点发布了完整且最新的 sitemap。 |
discover |
从源 URL 开始,默认同时使用 sitemap 以及它在已抓取页面上找到的链接。 | 站点没有 sitemap,或 sitemap 未覆盖你需要的每一页。 |
在 source_params.web_crawler.parse_type 中设置解析类型。若未设置,AI Search 使用 sitemap。
两种解析类型都要求源 URL 位于你已加入同一 Cloudflare 账户的域名上。如果域名尚未接入 Cloudflare,请参阅 接入域名。
两种解析类型都可以读取 sitemap,因此选择并不是简单的“sitemap 或链接”。discover 的默认 发现来源 为 all,意味着它会读取 sitemap 并 跟随链接。区别在于各自对 sitemap 的利用程度。
如果你的站点发布的 sitemap 覆盖了你希望索引的页面,请优先使用 sitemap。它更可靠,因为:
- 更新由 sitemap 驱动。
sitemap会在页面的<lastmod>日期变化时重新抓取,因此下次同步即可拾取编辑。discover完全忽略<lastmod>和<changefreq>,改为按固定的 缓存年龄 重新获取。 - 不会被截断。
discover会在配置的 页面上限与深度 处停止,因此位于链接图深处或超出上限的页面可能被跳过。sitemap会索引 sitemap 列出的全部内容。 - 你可以控制顺序。
sitemap按<priority>值索引页面,因此在触及实例上限时,最重要的页面会先被索引。 - 你可以缩小抓取范围。 指定 sitemap 不支持与
discover一起使用。
当 sitemap 缺失、不完整或过期时,请选择 discover。
sitemap 解析类型为默认值。AI Search 读取站点发布的 XML sitemap 以决定索引哪些页面,并在页面的 <lastmod> 日期变化时重新抓取。
连接域名后,爬虫会查找网站的 sitemap,以确定要访问的页面:
- 如果你在仪表板的 Parser options > Specific sitemap 中配置了一个或多个自定义 sitemap URL,AI Search 仅抓取这些 sitemap URL。
- 否则,爬虫会检查
robots.txt中列出的 sitemap。 - 如果未找到
robots.txt,爬虫会检查/sitemap.xml处的 sitemap。 - 如果没有任何 sitemap,则无法使用
sitemap解析类型抓取该域名。请改用discover。
如果你的 sitemap 包含 <priority> 属性,AI Search 会读取所有 sitemap,并按每个页面的 priority 值进行索引,而不论该页面属于哪个 sitemap。
如果未指定 <priority>,则按 sitemap 提供的顺序索引页面:来自已配置的自定义 sitemap URL,或来自 robots.txt 的自上而下顺序。
AI Search 支持 .gz 压缩的 sitemap。robots.txt 和 sitemap 都可以使用部分 URL。
在计划或手动 同步作业 期间,爬虫会检查 sitemap 中 <lastmod> 属性的变化。如果该日期晚于上次同步日期,则会抓取该页面、存储更新版本,并自动重新索引,使搜索结果始终反映最新内容。
如果未定义 <lastmod> 属性,AI Search 会使用 <changefreq> 属性确定重新抓取该 URL 的频率。如果 <lastmod> 与 <changefreq> 均未定义,AI Search 会每天自动抓取每个链接一次。
默认情况下,AI Search 会按 robots.txt 中列出的顺序(自上而下)抓取所有 sitemap。如果你不希望爬虫索引全部内容,或 sitemap 托管在非标准路径,可在仪表板的 Parser options > Specific sitemap 中配置自定义 sitemap URL。
配置自定义 sitemap URL 后,AI Search 会使用这些 sitemap URL,而不再从 robots.txt 或 /sitemap.xml 自动发现。最多可添加五个 sitemap URL。
AI Search 爬虫使用的用户代理为 Cloudflare-AI-Search。你的 robots.txt 文件应引用 sitemap 并允许该爬虫:
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml你可以列出多个 sitemap,或使用 sitemap 索引文件:
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/blog-sitemap.xml
Sitemap: https://example.com/sitemap.xml.gz要阻止所有其他爬虫,仅允许 AI Search:
User-agent: *
Disallow: /
User-agent: Cloudflare-AI-Search
Allow: /
Sitemap: https://example.com/sitemap.xml构建 sitemap,向 AI Search 提供高效抓取所需的信息:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/important-page</loc>
<lastmod>2026-01-15</lastmod>
<changefreq>weekly</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>https://example.com/other-page</loc>
<lastmod>2026-01-10</lastmod>
<changefreq>monthly</changefreq>
<priority>0.5</priority>
</url>
</urlset>使用这些属性控制抓取行为:
| 属性 | 用途 | 建议 |
|---|---|---|
<loc> |
页面 URL | 必需。可使用完整或部分 URL。 |
<lastmod> |
上次修改日期 | 包含该属性以启用变更检测。当此日期变化时,AI Search 会重新抓取页面。 |
<changefreq> |
预期变更频率 | 在没有 <lastmod> 时使用。取值:always、hourly、daily、weekly、monthly、yearly、never。 |
<priority> |
相对重要性(0.0-1.0) | 为重要页面设置更高值。AI Search 按优先级顺序索引页面。 |
你也可以使用 Sitemap Index 捆绑其他特定于域名的 sitemap:
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://www.example.com/sitemap-blog.xml</loc>
<lastmod>2024-08-15T10:00:00+00:00</lastmod>
</sitemap>
<sitemap>
<loc>https://www.example.com/sitemap-docs.xml</loc>
<lastmod>2024-08-10T12:00:00+00:00</lastmod>
</sitemap>
</sitemapindex>解析 Sitemap Index 时,AI Search 会收集所有子 sitemap,然后递归抓取它们,收集 sitemap 中出现的所有相关 URL。
- 在所有 URL 上包含
<lastmod>,以便在同步期间高效检测变更。 - 设置
<priority>以控制索引顺序。优先级更高的页面会先被索引。 - 在没有
<lastmod>时,将<changefreq>用作回退。 - 对于有多个 sitemap 的大型站点,使用 sitemap 索引文件。
- 使用
.gz格式压缩大型 sitemap,以减少带宽。 - 将每个 sitemap 文件控制在 50MB 和 50,000 个 URL 以内(标准 sitemap 限制)。
discover 解析类型将页面发现委托给 Browser Run /crawl 端点。AI Search 从源 URL 启动抓取作业,并将获取的每一页存储在 内置存储 中。
默认情况下,discover 会从 sitemap 以及已抓取页面上的链接收集候选 URL。使用 发现来源 选项可将其限制为其中一种。
由于 discover 不依赖 sitemap,它可以到达 sitemap 遗漏的页面。
- AI Search 从源 URL 启动抓取作业。
- 爬虫根据发现来源,从 sitemap、已抓取页面上的链接,或两者收集候选 URL。
- 爬虫跟随链接直到配置的深度,并在达到页面上限时停止。
- 获取的每一页会存储到内置存储中,转换为 Markdown,再分块并建立索引。
爬虫在你 Cloudflare 账户中的域名上将自己标识为 Cloudflare-AI-Search。如果你启用 外部链接或子域名,并且抓取到达账户之外的域名,它会将自己标识为 Cloudflare-AI-Search-External。被 robots.txt 禁止的页面会以 blocked_by_robots_txt 索引错误代码 记录,而不会被索引。
-
在 Cloudflare 仪表板中,前往 AI Search 页面。
前往 AI Search ↗ -
选择 Create(创建),然后将数据源选择为 Website(网站)。
-
在 Crawl target(抓取目标) 下,输入网站 URL。
-
在 Parse type(解析类型) 下,选择 Discover。
-
在 Crawl options(抓取选项) 下,调整 Crawl source(抓取来源)、Page limit(页面上限)、Crawl depth(抓取深度)、Max cache age(最大缓存年龄)、Include external links(包含外部链接) 和 Include subdomains(包含子域名)。
-
完成设置流程以创建实例。
稍后要更改这些选项,请选择你的实例,打开 Settings(设置) 选项卡,并在 Parser options(解析选项) 下编辑 Crawl options(抓取选项)。保存更改会启动新的索引作业,并重新索引每个条目。
将 parse_type 设为 discover,然后在 discover_options 中传入任何非默认设置。
curl -X POST "https://api.cloudflare.com/client/v4/accounts/<ACCOUNT_ID>/ai-search/namespaces/default/instances" \
-H "Authorization: Bearer <API_TOKEN>" \
-H "Content-Type: application/json" \
-d '{
"id": "my-ai-search",
"type": "web-crawler",
"source": "example.com",
"source_params": {
"web_crawler": {
"parse_type": "discover",
"discover_options": {
"source": "links",
"limit": 5000,
"depth": 3,
"max_age": 86400,
"include_subdomains": true
}
}
}
}'以下选项仅在 parse_type 为 discover 时适用。它们都是可选的。
| 选项 | 类型 | 默认值 | 范围或取值 | 说明 |
|---|---|---|---|---|
source |
string | all |
all、sitemaps、links |
爬虫查找候选 URL 的位置。 |
limit |
number | 100000 |
1 到 100,000 | 要抓取的最大页面数。 |
depth |
number | 5 |
1 到 100,000 | 从源 URL 跟随的最大链接跳转次数。 |
max_age |
number | 86400 |
0 到 604,800 秒 | 爬虫在重新获取之前复用缓存页面内容的时长。 |
include_external_links |
boolean | false |
true、false |
是否跟随指向其他域名的链接。 |
include_subdomains |
boolean | false |
true、false |
是否跟随指向源 URL 子域名的链接。 |
source 选项选择候选 URL 的来源:
all:同时使用 sitemap 以及已抓取页面上找到的链接。sitemaps:仅使用 sitemap 中列出的 URL。links:仅使用已抓取页面上找到的链接。
当 sitemap 缺失或不可靠时使用 links。当你希望获得 sitemap 覆盖范围但不跟随页内链接时使用 sitemaps。
limit 选项限制爬虫索引的页面数,最大为 100000。创建或更新实例时,超过该最大值的值会被拒绝。你的 实例对象上限 仍然适用,因此有效上限取决于其中较低的值。
depth 选项限制爬虫从源 URL 出发的距离。深度为 1 时,仅抓取源 URL 直接链接的页面。
max_age 选项设置爬虫在从源站重新获取页面之前接受的缓存页面内容的最大年龄(秒)。设为 0 表示始终从源站获取。
在仪表板中,Max cache age(最大缓存年龄) 提供 No cache(无缓存)、1 hour(1 小时)、1 day(1 天)、3 days(3 天) 和 7 days(7 天)。
默认情况下,爬虫停留在源 URL 的主机上。启用 include_subdomains 可跟随进入子域名的链接,启用 include_external_links 可跟随指向其他域名的链接。
每个 同步作业 都会启动新的抓取作业。AI Search 会重新索引抓取返回的页面,并移除它无法再到达的页面。
如果抓取未完成,或在页面上限处停止,AI Search 会保留先前已索引的页面,而不是删除此次抓取未到达的页面。
discover 不读取 <lastmod> 或 <changefreq> sitemap 属性。使用 max_age 控制爬虫返回源站的频率。
parse_options.specific_sitemaps 仅在 parse_type 为 sitemap 时有效。与 discover 一起发送会返回验证错误。
无论选择哪种解析类型,以下网站设置均适用:
- 路径过滤:包含与排除 URL 模式。被排除的页面永远不会被获取。
- 内容选择器:将索引限制为 CSS 选择器匹配的元素。
- 认证请求头:随每个请求发送的自定义 HTTP 请求头。
- 自定义元数据:从
<meta>标签提取的元数据。 - 渲染模式:页面是否在无头浏览器中加载。
discover 抓取最多索引 100,000 页,并从源 URL 最多跟随 100,000 次链接跳转,通过 limit 和 depth 设置。