跳转到内容
搜索文档

速率限制

最后更新 查看 MarkdownAgent 设置

速率限制控制到达应用的流量,防止昂贵账单和可疑活动。

参数

你可以将速率限制定义为在特定时间范围内发送的请求数量。例如,你可以将应用限制为每 60 秒 100 个请求。

你还可以选择 **fixed(固定)**或 **sliding(滑动)**速率限制技术。使用速率限制,我们在一个时间窗口内允许一定数量的请求。例如,如果是固定速率,窗口基于时间,因此在十分钟窗口内不超过 x 个请求。如果是滑动速率,在最后十分钟内不超过 x 个请求。

举例说明,假设你设置了每十分钟十个请求的限制,从 12:00 开始。固定窗口为 12:00-12:10、12:10-12:20,依此类推。如果你在 12:09 发送十个请求,在 12:11 发送十个请求,在固定窗口策略下所有 20 个请求都会成功。但在滑动窗口策略下会失败,因为最后十分钟内超过十个请求。

处理速率限制

当请求超过允许速率时,你将遇到速率限制。这意味着服务器将以 429 Too Many Requests 状态码响应,你的请求不会被处理。

默认配置

要在仪表板中设置默认速率限制配置:

  1. 登录 Cloudflare 仪表板并选择你的账户。
  2. 前往 AI > AI Gateway
  3. 前往 Settings(设置)
  4. 启用 Rate-limiting(速率限制)
  5. 根据需要调整速率、时间段和速率限制方法。

要使用 API 设置默认速率限制配置:

  1. 创建 API 令牌,并授予以下权限:
  • AI Gateway - Read
  • AI Gateway - Edit
  1. 获取你的 Account ID
  2. 使用该 API 令牌和 Account ID,发送 POST 请求 创建新 Gateway,并包含 rate_limiting_intervalrate_limiting_limitrate_limiting_technique 的值。

此速率限制行为将统一应用于该 gateway 的所有请求。

这篇文档对您有帮助吗?