审查 Cloudflare AI Crawl Control 文档中使用的术语定义。
| 术语 | 定义 |
|---|---|
| AI crawler | 为支持 AI 模型而从网站抓取内容的机器人,包括为索引、检索增强生成(RAG)或训练而抓取内容。 |
| canonical URL | 网页的首选版本,由页面 |
| category | 描述爬虫所声明用途的分类:"AI Crawler"、"AI Search"、"AI Assistant" 或 "Search Engine"。每个爬虫只属于一个类别。 |
| Content Signals | 一项新兴的 IETF 标准,用于通过 HTTP 标头或元数据表达 AI 内容偏好,旨在取代非标准的厂商信号。请参阅 contentsignals.org。 |
| crawl | 机器人为访问您网站上的某个页面而发出的单个 HTTP 请求。 |
| crawler | 由某家公司运营、用于访问 Web 内容的特定机器人。一个运营方(如 OpenAI)可能运行多个爬虫(GPTBot、ChatGPT-User)。 |
| In-band pricing | 与内容一起通过 HTTP 响应标头传递的定价信息。在 Pay Per Crawl 中,源站通过 |
| Merchant of Record | 促成"买卖"的实体。对于 pay per crawl,Cloudflare 是记录商户(merchant of record)。 |
| operator | 拥有并运营 AI 爬虫的公司或组织,例如 OpenAI、Microsoft、Google、ByteDance、Anthropic 和 Meta。在 AI Crawl Control 中,爬虫按其运营方分组。 |
| Referrer | 用户在访问您的域名之前所在的网站,通过 HTTP Referer 标头跟踪。在 AI Crawl Control 中,引荐来源数据显示来自 ChatGPT 或 Perplexity 等 AI 平台的流量。 |
| robots.txt | 位于网站根目录的文本文件,用于告知爬虫可以或不可以访问哪些页面。是否遵守完全自愿。AI Crawl Control 可帮助您监控哪些爬虫违反了您的 robots.txt 规则。 |