Cloudflare AI 网关

观察和控制您的 AI 应用。

Available on all plans

Cloudflare 的 AI 网关让您能够观察和控制您的 AI 应用。通过将应用连接到 AI 网关，您可以通过分析和日志记录深入了解用户如何使用您的应用，然后通过缓存、速率限制以及请求重试、模型回退等功能来控制应用的扩展方式。更好的是 - 只需一行代码即可开始使用。

查看快速开始指南了解如何为您的应用配置 AI 网关。

功能特性

分析

查看请求数量、令牌数量以及运行应用所需成本等指标。

查看分析

日志记录

深入了解请求和错误信息。

查看日志记录

缓存

直接从 Cloudflare 的缓存提供请求服务，而不是从原始模型提供商，以实现更快的请求和成本节省。

Use 缓存

速率限制

通过限制应用接收的请求数量来控制应用的扩展方式。

Use 速率限制

请求重试和回退

通过定义请求重试和模型回退来提高弹性，以防出现错误。

Use 请求重试和回退

您喜欢的提供商

Workers AI、OpenAI、Azure OpenAI、HuggingFace、Replicate 等都支持 AI 网关。

Use 您喜欢的提供商

---

相关产品

Workers AI

在 Cloudflare 的全球网络上运行由无服务器 GPU 驱动的机器学习模型。

Vectorize

使用 Vectorize（Cloudflare 的向量数据库）构建全栈 AI 应用。添加 Vectorize 使您能够执行语义搜索、推荐、异常检测等任务，或者可用于为 LLM 提供上下文和记忆。

更多资源

开发者社区 Discord

在 Discord 上与 Workers 社区联系，提出问题，展示您正在构建的内容，并与其他开发者讨论平台。

使用案例

了解如何在 Cloudflare 的全球网络上构建和部署雄心勃勃的 AI 应用。

@CloudflareDev

在 Twitter 上关注 @CloudflareDev，了解产品公告以及 Cloudflare Workers 的新动态。