跳转到内容
本站为社区维护的非官方中文翻译,与 Cloudflare, Inc. 无关联。本站不提供账户登录,请勿在任何非官方站点输入您的 Cloudflare 账户信息。官方文档:developers.cloudflare.com

内容选择器

最后更新 查看 MarkdownAgent 设置

内容选择器让你控制抓取页面的哪些部分被索引。每个条目将一个 URL glob 模式与一个 CSS 选择器配对。当页面 URL 匹配某个 glob 模式时,仅提取匹配对应 CSS 选择器的元素及其后代,并转换为 Markdown 以进行索引。

列表按顺序处理,首个匹配的路径生效。如果页面 URL 匹配多个 glob 模式,仅应用第一个匹配项的选择器。请将条目从最具体到最宽泛排序。

默认行为

在没有内容选择器时,AI Search 会应用默认处理流程,在将剩余内容转换为 Markdown 之前移除 <header>、<footer> 和 <head> 等元素。有关 HTML 处理的更多详细信息,请参阅 HTML 的处理方式。

在仪表板中配置

  1. 在 Cloudflare 仪表板中前往 AI Search ↗ 页面。

    前往 AI Search ↗
  2. 选择你的 AI Search 实例,或选择 Create(创建) 以创建带有 Website(网站) 数据源的新实例。

  3. 在数据源设置下,找到 Content selectors(内容选择器) 部分。

  4. 选择 Add selector(添加选择器)。

  5. 在 Path(路径) 字段中,输入用于匹配页面 URL 的 glob 模式。例如 **/blog/**。

  6. 在 Selector(选择器) 字段中,输入用于从匹配页面提取内容的 CSS 选择器。例如 article .post-body。

  7. 要添加更多条目,再次选择 Add selector(添加选择器)。条目按从上到下的顺序进行评估。

通过 API 配置

内容选择器在创建或更新 AI Search 实例时,配置于 source_params.web_crawler.parse_options.content_selector 字段。该字段接受对象数组,每个对象包含 path 和 selector 属性。

curl -X POST "https://api.cloudflare.com/client/v4/accounts/<ACCOUNT_ID>/ai-search/namespaces/default/instances" \
  -H "Authorization: Bearer <API_TOKEN>" \
  -H "Content-Type: application/json" \
  -d '{
    "id": "my-ai-search",
    "source": "https://example.com",
    "type": "web-crawler",
    "source_params": {
      "web_crawler": {
        "parse_options": {
          "content_selector": [
            {
              "path": "**/blog/**",
              "selector": "article .post-body"
            },
            {
              "path": "**/docs/**",
              "selector": "main .content"
            }
          ]
        }
      }
    }
  }'
字段 类型 说明
path string 用于匹配完整页面 URL 的 glob 模式。使用与 路径过滤 相同的 glob 语法——* 匹配段内内容,** 可跨越目录。最长 200 个字符。
selector string 用于从匹配路径模式的页面提取内容的 CSS 选择器。支持标准 CSS 选择器,包括元素、类、ID 和属性选择器。最长 200 个字符。

示例

从博客页面提取主要内容

仅索引博文页面中的文章正文,并忽略导航、侧边栏和页脚:

Path Selector
**/blog/** article .post-body

定位文档内容

索引文档站点的主要内容区域:

Path Selector
**/docs/** main .content

为不同部分使用不同选择器

你可以定义多个条目,为站点的不同部分应用不同选择器。首个匹配的路径生效,因此请将更具体的模式放在前面:

Path Selector
**/blog/releases/** .release-notes
**/blog/** article .post-body
**/docs/** main .content

在此示例中,https://example.com/blog/releases/v2 匹配第一个模式并使用 .release-notes 选择器。https://example.com/blog/my-post 跳过第一个模式并匹配第二个。

与其他功能的交互

  • 路径过滤:路径过滤 优先于内容选择器。被路径过滤排除的页面不会被抓取,因此内容选择器不会应用于它们。
  • 渲染模式:内容选择器应用于 AI Search 收到的 HTML。对于使用 JavaScript 渲染内容的站点,请使用 Rendered sites 模式,以便选择器能够定位完整渲染后的 DOM。
  • 自动重新索引:更新内容选择器会立即触发新的 同步作业,以便将更改应用于所有已索引页面。

限制

内容选择器适用的限制请参阅 网站。

这篇文档对您有帮助吗?