跳转到内容
本站为社区维护的非官方中文翻译,与 Cloudflare, Inc. 无关联。本站不提供账户登录,请勿在任何非官方站点输入您的 Cloudflare 账户信息。官方文档:developers.cloudflare.com

AI Gateway

最后更新 查看 MarkdownAgent 设置

每个 AI Search 实例都会连接到 Cloudflare AI Gateway。外部提供商的嵌入和重新排序调用通过已连接的网关执行。查询重写和响应生成也通过该网关执行。

Workers AI 的嵌入和重新排序用量包含在 AI Search 用量中。这些调用不会出现在 AI Gateway 日志或分析中,也不会另外按 Workers AI 用量计费。

要选择或更改实例使用的网关,请参阅 Models。

观测模型调用

AI Gateway 会记录通过网关路由的模型请求,包括所有查询重写和响应生成调用,以及外部提供商的嵌入和重新排序调用。

  • Analytics: 跟踪模型调用中的请求数、令牌使用量、成本、延迟和错误。
  • Logs: 检查单个请求和响应,包括有效的系统提示词、重写后的查询和生成的答案。

使用其他提供商的模型

默认情况下,AI Search 使用 Workers AI 模型。要使用来自其他提供商(例如 OpenAI 或 Anthropic)的模型,请将提供商密钥添加到 AI Gateway,并在 AI Search 中选择这些模型。

  1. 使用 Bring Your Own Keys 添加提供商密钥。
  2. 连接网关并在 AI Search 设置中选择模型。详情请参阅 Models。

防范不安全内容

使用 AI Gateway Guardrails 筛查流经实例的提示词和响应,并拦截不安全或不适当的内容。要检测和处理敏感信息(例如个人或财务数据),请使用 Data Loss Prevention (DLP)。

提高弹性

配置请求重试与模型回退,以便在提供商返回错误时,模型调用可以自动重试或回退到另一个模型。

缓存与速率限制

AI Gateway 的某些功能会作用于通过网关的每个请求。这些功能可能干扰外部提供商的嵌入和重新排序、查询重写,以及响应生成。

请勿为连接到 AI Search 实例的网关开启 AI Gateway 缓存。这对嵌入请求尤为重要。AI Search 依赖最新的嵌入来构建向量索引并将每个查询与之匹配,因此提供缓存的嵌入可能会存储或返回不正确的向量,从而悄然降低搜索结果的准确性。要缓存搜索结果,请改用 AI Search 自身的相似度缓存。

同样,请避免在此网关上设置速率限制。速率限制会作用于 AI Search 自身的模型调用,包括索引时发出的大量嵌入请求,并可能中断索引和查询。

这篇文档对您有帮助吗?