回退

通过您的通用端点指定模型或提供商回退，以处理请求失败并确保可靠性。

Cloudflare 可以在响应请求错误或预定的请求超时时触发您的回退提供商。响应标头 cf-aig-step 指示哪个步骤成功处理了请求。

请求失败

默认情况下，如果模型请求返回错误，Cloudflare 会触发您的回退。

示例

在以下示例中，请求首先发送到 Workers AI 推理 API。如果请求失败，它会回退到 OpenAI。响应标头 cf-aig-step 指示哪个提供商成功处理了请求。

1. 向 Workers AI 推理 API 发送请求。
2. 如果该请求失败，继续发送到 OpenAI。

graph TD
    A[AI Gateway] --> B[Request to Workers AI Inference API]
    B -->|Success| C[Return Response]
    B -->|Failure| D[Request to OpenAI API]
    D --> E[Return Response]

您可以通过在数组中添加另一个对象来添加任意数量的回退。

Request

curl https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id} \
  --header 'Content-Type: application/json' \
  --data '[
  {
    "provider": "workers-ai",
    "endpoint": "@cf/meta/llama-3.1-8b-instruct",
    "headers": {
      "Authorization": "Bearer {cloudflare_token}",
      "Content-Type": "application/json"
    },
    "query": {
      "messages": [
        {
          "role": "system",
          "content": "You are a friendly assistant"
        },
        {
          "role": "user",
          "content": "What is Cloudflare?"
        }
      ]
    }
  },
  {
    "provider": "openai",
    "endpoint": "chat/completions",
    "headers": {
      "Authorization": "Bearer {open_ai_token}",
      "Content-Type": "application/json"
    },
    "query": {
      "model": "gpt-4o-mini",
      "stream": true,
      "messages": [
        {
          "role": "user",
          "content": "What is Cloudflare?"
        }
      ]
    }
  }
]'

响应标头(cf-aig-step)

在使用带有回退的通用端点时，响应标头 cf-aig-step 通过返回步骤编号指示哪个模型成功处理了请求。此标头提供了关于是否触发了回退以及哪个模型最终处理了响应的可见性。

• cf-aig-step:0 – 成功使用了第一个（主要）模型。
• cf-aig-step:1 – 请求回退到第二个模型。
• cf-aig-step:2 – 请求回退到第三个模型。
• 后续步骤 – 每个回退将步骤编号递增 1。