跳转到内容
本站为社区维护的非官方中文翻译,与 Cloudflare, Inc. 无关联。本站不提供账户登录,请勿在任何非官方站点输入您的 Cloudflare 账户信息。官方文档:developers.cloudflare.com

不安全主题与自定义主题检测

最后更新 查看 MarkdownAgent 设置

AI Security for Apps 可检测 LLM 提示何时触及不安全或不需要的主题。主题检测有两层:

  • 默认不安全主题:一组内置安全类别,用于检测有害内容,例如暴力犯罪、仇恨言论和色情内容。
  • 自定义主题:由您定义的主题,以匹配组织的特定策略,例如 "competitors" 或 "financial-advice"。

默认不安全主题

启用 AI Security for Apps 后,它会自动根据一组默认不安全主题类别评估提示,并填充两个字段:

默认不安全主题类别

类别 描述
VIOLENCE_AND_WEAPONS 宣扬、美化、威胁实施身体暴力,或提供获取、制造或使用武器的方法的内容。
NON_VIOLENT_CRIME 鼓励或协助非暴力犯罪的内容,包括欺诈、盗窃、黑客攻击和非法毒品交易。
SEXUAL_CONTENT 露骨或具有性暗示的内容,包括涉及成年人的性剥削、贩运、性侵、骚扰和其他未经同意的性行为。
CHILD_SAFETY 将未成年人性化、剥削、虐待、诱导,或以其他方式危及未成年人的内容。
HATE_AND_DISCRIMINATION 基于受保护特征攻击、贬低或歧视他人,或煽动针对他人的仇恨的内容。此类别还包括宣扬不诚实、操纵行为或职业不当行为的内容。
SELF_HARM_AND_SUICIDE 鼓励、美化自伤或自杀,或提供相关方法的内容。

自定义主题

自定义主题检测允许您定义自己的主题,AI Security for Apps 会针对这些主题对每个提示评分。然后您可以在自定义规则或速率限制规则中使用这些分数,根据您定义的相关性分数阻止、质询或记录请求。

此功能使用 zero-shot classification model 在运行时评估提示。无需模型训练。

自定义主题的工作原理

  1. 您定义最多 20 个自定义主题的列表。每个主题包含:
    • Label(标签):用于规则表达式和分析的简短连字符标识符(例如 financial-advice)。
    • Topic description(主题描述):模型用于对提示进行分类的描述性文本(例如 seeking financial advice)。
  2. 当请求到达带有 cf-llm 标签的端点时,模型会根据所有已定义的主题描述评估提示,并为每个主题返回相关性分数。
  3. 分数写入 cf.llm.prompt.custom_topic_categories map 字段,以 label 为键。您在规则表达式和分析中使用 label(而不是主题描述)。

定义自定义主题

您可以在仪表板中的两个位置管理自定义主题:

  1. Security Settings(安全设置)页面:前往 Security(安全性) > Settings(设置),搜索 AI Security for Apps 部分。在 Custom Topics(自定义主题) 下,选择 Manage topics(管理主题) 以添加、编辑或移除主题。
  2. Expression builder sidebar(表达式构建器侧边栏):创建或编辑自定义规则时,选择 LLM Custom topic(LLM 自定义主题) 字段。然后选择 Manage custom topics(管理自定义主题) 打开侧边栏,可在不离开规则创建页面的情况下管理主题。

两种方法会更新同一底层主题列表。在一处所做的更改会立即反映到另一处。

  1. 在 Cloudflare 仪表板中,前往 Security Settings(设置) 页面。

    前往 Settings(设置) ↗

    或者,前往自定义规则创建页面,选择 LLM Custom topic(LLM 自定义主题) 字段,并选择 Manage custom topics(管理自定义主题) 打开侧边栏。

  2. 通过提供以下内容添加主题:

    • Label(标签):简短的连字符标识符(例如 competitors)。
    • Topic description(主题描述):模型用于分类的描述性英语短语(例如 seeking info on competitors)。
  3. 选择 Save(保存)。

使用 PUT 请求更新自定义主题列表:

curl "https://api.cloudflare.com/client/v4/zones/$ZONE_ID/ai-security/custom-topics" \
  --request PUT \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  --json '{
    "topics": [
      {
        "label": "competitors",
        "topic": "seeking info on competitors"
      },
      {
        "label": "financial-advice",
        "topic": "seeking financial advice"
      },
      {
        "label": "hr-internal",
        "topic": "asking about internal HR policies"
      }
    ]
  }'

要检索当前主题,使用 GET 请求:

curl "https://api.cloudflare.com/client/v4/zones/$ZONE_ID/ai-security/custom-topics" \
  --header "Authorization: Bearer $CLOUDFLARE_API_TOKEN"

约束

参数 限制
最大主题数量 20
主题字符串长度 2–50 个可打印 ASCII 字符
Label 长度 2–20 个字符
Label 格式 仅限小写字母、数字和连字符(-)

定义自定义主题的最佳实践

自定义主题检测的质量取决于您如何编写主题描述。底层模型是 zero-shot classifier,它将提示的语义含义与您的主题描述进行比较。

最重要的是描述用户意图,而不仅仅是主题领域。

以意图为主导

模型进行的是语义分类,而不是关键词匹配。能够描述用户 试图做什么 的主题说明,比只写主题领域的说明准确得多。简短的动词短语(3–6 个词)通常能较好地兼顾准确性和覆盖范围。

比较相同的两个主题描述在两个都提到金融但意图截然不同的提示上的表现:

主题描述 提示:"Should I invest my savings in index funds?" 提示:"Our finance team just finished the Q3 report."
financial advice(仅名词) 匹配 也会匹配。出现 "finance" 一词,即使没有人在寻求建议
seeking financial advice(意图短语) 匹配 正确忽略。提到了金融但没有寻求建议的意图

示例:competitors

质量 主题描述 原因
最佳 seeking info on competitors 捕捉意图。仅在用户主动询问竞争对手时触发
一般 Acme Corp, Banana Co, Candy & Sons 对已知名称有效,但会漏掉未命名的竞争对手,并捕获随意提及
避免 other companies 过于宽泛。几乎匹配任何提到企业的提示

示例:financial-advice

质量 主题描述 原因
最佳 seeking financial advice 以意图为导向。匹配寻求指导的用户,忽略对金融的被动提及
一般 securities and investments 主题范围合理,但会对新闻文章和事实性提及触发,而不仅是寻求建议
避免 finance 极其宽泛。几乎匹配从费用报告到定价问题的所有内容

更多最佳实践

  • 要具体。 过于宽泛的主题导致误报;过于狭窄的主题导致漏报。
  • 避免语义重叠。 若两个主题含义几乎相同(例如 seeking financial advice 和 asking for investment guidance),它们会在相同提示上得到类似分数,并浪费您的 20 个主题配额。
  • 测试并迭代。 发送测试提示并在 Security Analytics 中审查分数。您可以通过调整主题描述(更具体或更宽泛)或规则中的分数阈值(lt 20 较严格,lt 50 较宽松)来调优。
  • 不要在一个主题描述中列出多个值。 模型仅根据逗号分隔列表中的第一项进行评估。例如,Toyota, Ford, Audi, BMW 将仅匹配关于 Toyota 的提示——其余项会被忽略。去掉逗号也不会改善结果。请使用单一的以意图为导向的短语,例如 seeking info on competitors,或为每个值创建单独的主题。

自定义主题示例

标签 主题描述
competitors seeking info on competitors
financial-advice seeking financial advice
legal-advice asking for legal or regulatory advice
sensitive-data requesting passwords or API keys
job-seeking asking about job openings or careers
bias comparing demographic groups as better or worse

这篇文档对您有帮助吗?