每个 AI Search 实例都连接到一个 Cloudflare AI Gateway。AI Search 为嵌入、查询重写、重排序和响应生成所发出的模型调用都通过此网关运行。通过配置已连接的网关,您可以观测并控制这些模型调用。
要选择或更改实例使用的网关,请参阅 Models。
AI Gateway 会记录经过它的模型请求,因此您可以了解实例在执行什么操作。
默认情况下,AI Search 使用 Workers AI 模型。要使用来自其他提供商(例如 OpenAI 或 Anthropic)的模型,请将提供商密钥添加到 AI Gateway,并在 AI Search 中选择这些模型。
- 使用 Bring Your Own Keys 添加提供商密钥。
- 连接网关并在 AI Search 设置中选择模型。详情请参阅 Models。
使用 AI Gateway Guardrails 筛查流经实例的提示词和响应,并拦截不安全或不适当的内容。要检测和处理敏感信息(例如个人或财务数据),请使用 Data Loss Prevention (DLP)。
配置请求重试与模型回退,以便在提供商返回错误时,模型调用可以自动重试或回退到另一个模型。
某些 AI Gateway 功能会作用于经过网关的每个请求。由于您的 AI Search 实例与其内部模型调用共享此网关,少数功能可能会干扰索引和查询。
请勿为连接到 AI Search 实例的网关开启 AI Gateway 缓存。这对嵌入请求尤为重要。AI Search 依赖最新的嵌入来构建向量索引并将每个查询与之匹配,因此提供缓存的嵌入可能会存储或返回不正确的向量,从而悄然降低搜索结果的准确性。要缓存搜索结果,请改用 AI Search 自身的相似度缓存。
同样,请避免在此网关上设置速率限制。速率限制会作用于 AI Search 自身的模型调用,包括索引时发出的大量嵌入请求,并可能中断索引和查询。