跳转到内容
本站为社区维护的非官方中文翻译,与 Cloudflare, Inc. 无关联。本站不提供账户登录,请勿在任何非官方站点输入您的 Cloudflare 账户信息。官方文档:developers.cloudflare.com

使用注意事项

最后更新 查看 MarkdownAgent 设置

Guardrails 目前使用 Workers AI 上的 Llama Guard 3 8B ↗ 执行内容评估。底层模型将来可能会更新,我们将在 Guardrails 中反映这些变化。

由于 Guardrails 在 Workers AI 上运行,启用它会产生 Workers AI 使用量。你可以通过 Workers AI 仪表板监控使用情况。

危害类别

Guardrails 会根据以下危害类别评估内容。每个类别由一个代码标识,该代码会出现在 Guardrail 配置和 AI Gateway 日志中。你可以为提示和响应分别将每个类别独立设置为 Flag(标记)、Ignore(忽略) 或 Block(阻止)。

Guardrails 使用 Workers AI 上的 @cf/meta/llama-guard-3-8b 模型,评估 S1 到 S14 类别,即 Llama Guard 3 ↗ ↗中的危险类别。P1 类别是提示注入,由 @cf/meta/prompt-guard-2-86m 模型单独评估。

这些代码也会出现在 AI Gateway REST API 的 guardrails 属性中,你可以在其中以编程方式配置每个类别的操作。请参阅 create 和 update 方法。

代码 类别
S1 暴力犯罪
S2 非暴力犯罪
S3 性相关犯罪
S4 儿童性剥削
S5 诽谤
S6 专业建议
S7 隐私
S8 知识产权
S9 无差别武器
S10 仇恨
S11 自杀与自残
S12 色情内容
S13 选举
S14 代码解释器滥用
P1 提示注入

其他注意事项

  • 模型可用性:如果至少有一个危害类别设置为 block,但 AI Gateway 无法从 Workers AI 收到响应,请求将被阻止。相反,如果危害类别设置为 flag 且 AI Gateway 无法从 Workers AI 获得响应,请求将在不进行评估的情况下继续。这种方法优先考虑可用性,即使在无法进行内容评估时也允许请求继续。
  • 延迟影响:启用 Guardrails 会增加一些延迟。启用 Guardrails 会为请求引入额外延迟。通常,在 Workers AI 上使用 Llama Guard 3 8B 进行评估,每个请求大约增加 500 毫秒。但是,较大的请求可能会经历更高的延迟,尽管这种增加不是线性的。在平衡安全性和性能时请考虑这一点。
  • 处理长内容:在评估长提示或响应时,Guardrails 会自动将内容分割成较小的块,通过单独的 Guardrail 请求处理每个块。这种方法确保全面审核,但可能导致较长输入的延迟增加。
  • 支持的语言:Llama Guard 3.3 8B 支持以下语言的内容安全分类:英语、法语、德语、印地语、意大利语、葡萄牙语、西班牙语和泰语。

流式行为

Guardrails 不支持流式(stream: true)请求。提示仍会被评估并强制执行,但响应行为取决于 API 界面。

在 REST API(api.cloudflare.com/*)上,Guardrails 会评估响应并记录结果,但不会强制执行 — 无论 Guardrails 会标记什么,客户端都会收到完整的流式响应。在 gateway 端点(gateway.ai.cloudflare.com/v1/*)上,Guardrails 会缓冲完整响应、进行评估,然后返回单个非流式有效负载 — 该请求不再流式传输。

对于非流式(stream: false)请求,提示和响应都会被评估并强制执行。

Guardrails 会评估响应有效负载中的文本,包括图像生成模型响应中的 URL 字符串。它不会检索或评估所引用的图像。无论流式模式如何,嵌入和未知模型类型都会跳过响应评估。

更多信息请参阅支持的模型类型。

对流式请求的完整 Guardrails 支持已在我们的路线图上。

这篇文档对您有帮助吗?