内容选择器让你控制抓取页面的哪些部分被索引。每个条目将一个 URL glob 模式与一个 CSS 选择器配对。当页面 URL 匹配某个 glob 模式时,仅提取匹配对应 CSS 选择器的元素及其后代,并转换为 Markdown 以进行索引。
列表按顺序处理,首个匹配的路径生效。如果页面 URL 匹配多个 glob 模式,仅应用第一个匹配项的选择器。请将条目从最具体到最宽泛排序。
在没有内容选择器时,AI Search 会应用默认处理流程,在将剩余内容转换为 Markdown 之前移除 <header>、<footer> 和 <head> 等元素。有关 HTML 处理的更多详细信息,请参阅 HTML 的处理方式。
-
在 Cloudflare 仪表板中前往 AI Search ↗ 页面。
前往 AI Search ↗ -
选择你的 AI Search 实例,或选择 Create(创建) 以创建带有 Website(网站) 数据源的新实例。
-
在数据源设置下,找到 Content selectors(内容选择器) 部分。
-
选择 Add selector(添加选择器)。
-
在 Path(路径) 字段中,输入用于匹配页面 URL 的 glob 模式。例如
**/blog/**。 -
在 Selector(选择器) 字段中,输入用于从匹配页面提取内容的 CSS 选择器。例如
article .post-body。 -
要添加更多条目,再次选择 Add selector(添加选择器)。条目按从上到下的顺序进行评估。
内容选择器在创建或更新 AI Search 实例时,配置于 source_params.web_crawler.parse_options.content_selector 字段。该字段接受对象数组,每个对象包含 path 和 selector 属性。
curl -X POST "https://api.cloudflare.com/client/v4/accounts/<ACCOUNT_ID>/ai-search/namespaces/default/instances" \
-H "Authorization: Bearer <API_TOKEN>" \
-H "Content-Type: application/json" \
-d '{
"id": "my-ai-search",
"source": "https://example.com",
"type": "web-crawler",
"source_params": {
"web_crawler": {
"parse_options": {
"content_selector": [
{
"path": "**/blog/**",
"selector": "article .post-body"
},
{
"path": "**/docs/**",
"selector": "main .content"
}
]
}
}
}
}'| 字段 | 类型 | 说明 |
|---|---|---|
path |
string | 用于匹配完整页面 URL 的 glob 模式。使用与 路径过滤 相同的 glob 语法——* 匹配段内内容,** 可跨越目录。最长 200 个字符。 |
selector |
string | 用于从匹配路径模式的页面提取内容的 CSS 选择器。支持标准 CSS 选择器,包括元素、类、ID 和属性选择器。最长 200 个字符。 |
仅索引博文页面中的文章正文,并忽略导航、侧边栏和页脚:
| Path | Selector |
|---|---|
**/blog/** |
article .post-body |
索引文档站点的主要内容区域:
| Path | Selector |
|---|---|
**/docs/** |
main .content |
你可以定义多个条目,为站点的不同部分应用不同选择器。首个匹配的路径生效,因此请将更具体的模式放在前面:
| Path | Selector |
|---|---|
**/blog/releases/** |
.release-notes |
**/blog/** |
article .post-body |
**/docs/** |
main .content |
在此示例中,https://example.com/blog/releases/v2 匹配第一个模式并使用 .release-notes 选择器。https://example.com/blog/my-post 跳过第一个模式并匹配第二个。
- 路径过滤:路径过滤 优先于内容选择器。被路径过滤排除的页面不会被抓取,因此内容选择器不会应用于它们。
- 渲染模式:内容选择器应用于 AI Search 收到的 HTML。对于使用 JavaScript 渲染内容的站点,请使用 Rendered sites 模式,以便选择器能够定位完整渲染后的 DOM。
- 自动重新索引:更新内容选择器会立即触发新的 同步作业,以便将更改应用于所有已索引页面。
内容选择器适用的限制请参阅 网站。