User Insights 仪表板显示组织在 AI 上的支出、哪些身份对这些支出负责,以及哪些用户偏离其典型用量。它使用已经流经你的 gateway 的流量,无需额外设置。
User Insights 对所有 AI Gateway 客户免费提供,适用于通过 gateway 的任何流量。如果请求上没有身份或自定义元数据,所有用量会归入单一匿名标识符,User Insights 无法区分单个用户。
要将用量归属到单个用户,请使用自定义元数据添加用户标识符,或将 gateway 置于 Cloudflare Access 之后。使用 Access 时,每个经过身份验证的请求都会携带可验证身份,你可以据此筛选支出和分析。
在 User Insights 页面顶部,你可以查看所选时间范围内的以下组织级指标:
- Active users:有 gateway 用量的身份。
- Total requests:此范围内的 gateway 请求。
- Adoption rate:至少发出一次请求的 IdP 身份。
- Tokens per active user:此时间范围内的中位数。
- Median spend / active user:每个已归属身份的观测支出。
- Top 10% request activity:最活跃用户在已归属请求中所占份额。
- Users to review:费用至少为中位支出 2 倍的用户。
- Identity coverage:已归属到用户的请求份额。
User Insights 会为每个用户建立正常用量基线,并标记偏离该基线的会话,这可能表示凭据被盗用或智能体行为异常。
基线按会话而非按请求计算。对每个用户,User Insights 使用过去 30 天会话费用的第 95 百分位(p95)。该基线是滚动的,会随用量变化而更新。
当会话同时超过以下两个阈值时会被标记:
- Relative:超过该用户自身 p95 会话费用的 2 倍。
- Absolute:高于所有用户的组织级 p99 会话费用。
必须同时满足两个阈值。这样可避免将低用量用户的小幅尖峰,以及高用量用户的常规高费用会话标记为异常。
被标记的用户会出现在筛选视图中,并显示触发标记的会话及其费用。User Insights 不会阻止请求。
选择一个用户可查看其详细用量:
- Spend:该用户在此范围内的总观测支出。
- Requests:该用户发出的 gateway 请求总数。
- Tokens:该用户消耗的 token 总数。
- Gateway cached requests:由缓存提供服务的请求数。
- Errored requests:返回错误的请求数。
- Cache hit rate:由缓存提供服务的请求份额。
- Sessions:根据请求元数据估算的会话数。
- Top model:该用户向其发送请求最多的模型。
- Top provider:该用户向其发送请求最多的提供商。
- Last seen:最近一次活动,来自每日支出趋势。
- Active days:该用户在此范围内发送流量的天数。
- Identity coverage:该用户请求中已归属到身份的份额。