如果您的应用程序不应在容量队列中等待,请设置 rejectIfBusy。容量不足时,Workers AI 会拒绝同步推理请求。
对于原生 REST API,请将 rejectIfBusy 添加到请求的 options 对象中:
curl --request POST \
--url "https://api.cloudflare.com/client/v4/accounts/$ACCOUNT_ID/ai/run/@cf/google/gemma-4-26b-a4b-it" \
--header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
--header "Content-Type: application/json" \
--data '{
"messages": [
{
"role": "user",
"content": "Explain what a capacity queue is."
}
],
"options": {
"rejectIfBusy": true
}
}'对于 Workers AI 绑定,请在 env.AI.run() 的第三个参数中传入 rejectIfBusy:
const response = await env.AI.run(
"@cf/google/gemma-4-26b-a4b-it",
{
messages: [
{
role: "user",
content: "Explain what a capacity queue is.",
},
],
},
{ rejectIfBusy: true },
);const response = await env.AI.run(
"@cf/google/gemma-4-26b-a4b-it",
{
messages: [
{
role: "user",
content: "Explain what a capacity queue is.",
},
],
},
{ rejectIfBusy: true },
);不要将 rejectIfBusy 添加到模型输入对象中。绑定只会从第三个参数读取此选项。
对于兼容 OpenAI 的 Chat Completions,请在请求正文的顶层添加 options:
curl --request POST \
--url "https://api.cloudflare.com/client/v4/accounts/$ACCOUNT_ID/ai/v1/chat/completions" \
--header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
--header "Content-Type: application/json" \
--data '{
"model": "@cf/google/gemma-4-26b-a4b-it",
"messages": [
{
"role": "user",
"content": "Explain what a capacity queue is."
}
],
"options": {
"rejectIfBusy": true
}
}'保留自定义字段的 OpenAI 客户端可以发送此选项。移除未知字段的客户端不会应用它,因此请求会正常继续。
被拒绝的请求会返回 HTTP 状态码 429 和内部错误代码 3040。错误消息为 Capacity temporarily exceeded, please try again.
有关错误详情,请参阅 Workers AI 错误。