编码智能体会代表你向提供商发送模型请求。将智能体指向 AI Gateway 而非提供商,即可在不改变工作方式的情况下观察和控制该流量。
通过 AI Gateway 路由编码智能体可获得:
- 可观测性 — 在仪表板中查看每个请求、token 计数和延迟。
- 缓存 — 对重复提示返回缓存响应。
- 速率限制 — 使用速率限制限制请求量。
- 成本跟踪 — 跨会话和模型归属支出。
- 数据丢失防护 — 使用 DLP 扫描提示和响应中的密钥、凭据及其他敏感数据。
按照适用于你的编码智能体的设置指南操作:
编码智能体经常会将源代码、配置文件和代码片段发送给模型提供商。这些流量可能包含 API 密钥、客户数据或其他敏感材料。由于 AI Gateway 位于智能体与提供商之间,你可以在不更改智能体的情况下检查和控制流量。
数据丢失防护(DLP) 根据检测配置文件扫描请求和响应正文,并对匹配项进行标记或阻止。用它来捕获离开(或返回)智能体的密钥、凭据或受监管数据。
配置工具后,确认流量已到达 AI Gateway。
-
从编码智能体发送一个提示。
-
在 Cloudflare 仪表板中,前往 AI Gateway 页面。
Go to AI Gateway ↗ -
选择你的 gateway,然后选择 Logs(日志)。确认请求出现,并显示其模型、token 计数和延迟。
有关日志的更多信息,请参阅日志记录。