跳转到内容
本站为社区维护的非官方中文翻译,与 Cloudflare, Inc. 无关联。本站不提供账户登录,请勿在任何非官方站点输入您的 Cloudflare 账户信息。官方文档:developers.cloudflare.com

术语表

最后更新 查看 MarkdownAgent 设置

审查 Cloudflare AI Crawl Control 文档中使用的术语定义。

术语定义
AI crawler

为支持 AI 模型而从网站抓取内容的机器人,包括为索引、检索增强生成(RAG)或训练而抓取内容。

canonical URL

网页的首选版本,由页面 <head> 部分中的 <link rel="canonical"> HTML 标签指定。当多个 URL 提供相同或相似的内容时,规范 URL 会告诉搜索引擎和爬虫哪个版本具有权威性。

category

描述爬虫所声明用途的分类:"AI Crawler"、"AI Search"、"AI Assistant" 或 "Search Engine"。每个爬虫只属于一个类别。

Content Signals

一项新兴的 IETF 标准,用于通过 HTTP 标头或元数据表达 AI 内容偏好,旨在取代非标准的厂商信号。请参阅 contentsignals.org。

crawl

机器人为访问您网站上的某个页面而发出的单个 HTTP 请求。

crawler

由某家公司运营、用于访问 Web 内容的特定机器人。一个运营方(如 OpenAI)可能运行多个爬虫(GPTBot、ChatGPT-User)。

In-band pricing

与内容一起通过 HTTP 响应标头传递的定价信息。在 Pay Per Crawl 中,源站通过 crawler-price 标头设置价格。

Merchant of Record

促成"买卖"的实体。对于 pay per crawl,Cloudflare 是记录商户(merchant of record)。

operator

拥有并运营 AI 爬虫的公司或组织,例如 OpenAI、Microsoft、Google、ByteDance、Anthropic 和 Meta。在 AI Crawl Control 中,爬虫按其运营方分组。

Referrer

用户在访问您的域名之前所在的网站,通过 HTTP Referer 标头跟踪。在 AI Crawl Control 中,引荐来源数据显示来自 ChatGPT 或 Perplexity 等 AI 平台的流量。

robots.txt

位于网站根目录的文本文件,用于告知爬虫可以或不可以访问哪些页面。是否遵守完全自愿。AI Crawl Control 可帮助您监控哪些爬虫违反了您的 robots.txt 规则。

这篇文档对您有帮助吗?