每个 AI Search 实例都会连接到 Cloudflare AI Gateway。外部提供商的嵌入和重新排序调用通过已连接的网关执行。查询重写和响应生成也通过该网关执行。
Workers AI 的嵌入和重新排序用量包含在 AI Search 用量中。这些调用不会出现在 AI Gateway 日志或分析中,也不会另外按 Workers AI 用量计费。
要选择或更改实例使用的网关,请参阅 Models。
AI Gateway 会记录通过网关路由的模型请求,包括所有查询重写和响应生成调用,以及外部提供商的嵌入和重新排序调用。
默认情况下,AI Search 使用 Workers AI 模型。要使用来自其他提供商(例如 OpenAI 或 Anthropic)的模型,请将提供商密钥添加到 AI Gateway,并在 AI Search 中选择这些模型。
- 使用 Bring Your Own Keys 添加提供商密钥。
- 连接网关并在 AI Search 设置中选择模型。详情请参阅 Models。
使用 AI Gateway Guardrails 筛查流经实例的提示词和响应,并拦截不安全或不适当的内容。要检测和处理敏感信息(例如个人或财务数据),请使用 Data Loss Prevention (DLP)。
配置请求重试与模型回退,以便在提供商返回错误时,模型调用可以自动重试或回退到另一个模型。
AI Gateway 的某些功能会作用于通过网关的每个请求。这些功能可能干扰外部提供商的嵌入和重新排序、查询重写,以及响应生成。
请勿为连接到 AI Search 实例的网关开启 AI Gateway 缓存。这对嵌入请求尤为重要。AI Search 依赖最新的嵌入来构建向量索引并将每个查询与之匹配,因此提供缓存的嵌入可能会存储或返回不正确的向量,从而悄然降低搜索结果的准确性。要缓存搜索结果,请改用 AI Search 自身的相似度缓存。
同样,请避免在此网关上设置速率限制。速率限制会作用于 AI Search 自身的模型调用,包括索引时发出的大量嵌入请求,并可能中断索引和查询。