跳转到内容
搜索文档

AI Gateway

最后更新 查看 MarkdownAgent 设置

每个 AI Search 实例都连接到一个 Cloudflare AI Gateway。AI Search 为嵌入、查询重写、重排序和响应生成所发出的模型调用都通过此网关运行。通过配置已连接的网关,您可以观测并控制这些模型调用。

要选择或更改实例使用的网关,请参阅 Models

观测模型调用

AI Gateway 会记录经过它的模型请求,因此您可以了解实例在执行什么操作。

  • Analytics 跟踪模型调用中的请求数、令牌使用量、成本、延迟和错误。
  • Logs 检查单个请求和响应,包括有效的系统提示词、重写后的查询和生成的答案。

使用其他提供商的模型

默认情况下,AI Search 使用 Workers AI 模型。要使用来自其他提供商(例如 OpenAI 或 Anthropic)的模型,请将提供商密钥添加到 AI Gateway,并在 AI Search 中选择这些模型。

  1. 使用 Bring Your Own Keys 添加提供商密钥。
  2. 连接网关并在 AI Search 设置中选择模型。详情请参阅 Models

防范不安全内容

使用 AI Gateway Guardrails 筛查流经实例的提示词和响应,并拦截不安全或不适当的内容。要检测和处理敏感信息(例如个人或财务数据),请使用 Data Loss Prevention (DLP)

提高弹性

配置请求重试与模型回退,以便在提供商返回错误时,模型调用可以自动重试或回退到另一个模型。

缓存与速率限制

某些 AI Gateway 功能会作用于经过网关的每个请求。由于您的 AI Search 实例与其内部模型调用共享此网关,少数功能可能会干扰索引和查询。

请勿为连接到 AI Search 实例的网关开启 AI Gateway 缓存。这对嵌入请求尤为重要。AI Search 依赖最新的嵌入来构建向量索引并将每个查询与之匹配,因此提供缓存的嵌入可能会存储或返回不正确的向量,从而悄然降低搜索结果的准确性。要缓存搜索结果,请改用 AI Search 自身的相似度缓存

同样,请避免在此网关上设置速率限制。速率限制会作用于 AI Search 自身的模型调用,包括索引时发出的大量嵌入请求,并可能中断索引和查询。

这篇文档对您有帮助吗?