跳转到内容
搜索文档

Bot Management

最后更新 查看 MarkdownAgent 设置

简介

Cloudflare 拥有 Bot 管理能力,可帮助识别和缓解自动化流量,保护域免受恶意 Bot 的侵害。Bot Fight ModeSuper Bot Fight Mode 分别是 Free 和 Pro/Business 账户上可用的选项。它们提供了 Enterprise 账户可用功能和能力的一个子集。本参考架构图重点介绍适用于 Enterprise 客户的 Enterprise Bot Management

使用 Enterprise Bot Management,客户可以获得最大的保护、功能和能力。每个请求都会公开一个 bot 分数。Cloudflare 对 Bot Management 采用分层检测方法,使用多个检测引擎,这些引擎累积起来会影响 bot 分数。bot 分数是 1 到 99 之间的分数,表示请求来自 bot 的可能性。低于 30 的分数通常与 bot 流量相关,客户可以使用 WAF 自定义规则Workers 对该分数采取操作。此外,客户可以在 Bots、Security Analytics 和 Events 仪表板中查看此分数以及其他 bot 特征,例如 bot 分数来源、bot 检测 ID 和 bot 检测标签;在 Log Explorer 的更详细日志中也可以看到这些字段,或者通过 Log Push 将包含这些相应字段的日志导出到第三方 SIEM/分析平台。

定义

  • Bot 分数:bot 分数是 1 到 99 之间的分数,表示请求来自 bot 的可能性。评分为 1 意味着 Cloudflare 确定该请求是自动化的。
  • **Bot 分数来源:**Bot 分数来源是用于计算 bot 分数的检测引擎。
  • Bot 检测 ID:检测 ID是用于检测可预测的 bot 行为且与人类流量无重叠的静态规则。检测 ID 指的是用于识别 bot 的精确检测,这可能来自启发式算法、验证的 bot 检测或异常检测。
  • Bot 标签:Bot 标签提供有关 Cloudflare 为何向请求分配 bot 分数的更多详细信息。
  • **验证的 Bot:**Cloudflare 维护了一份“已验证”良好 bot 的列表,可用于策略中以确保与搜索引擎相关的良好 bot 不会被拦截。
  • AI Bot:如果启用该功能,Cloudflare 将检测并拦截遵守 robots.txt 和爬网速率、且不向您的网站隐藏其行为的已验证 AI bot。该规则也已扩展,以包含更多不遵守规则的 AI bot 的特征。

Cloudflare Bot Management 检测引擎

  • **启发式算法(Heuristics):**Cloudflare 进行多项启发式检查以识别自动化流量,并将请求与不断增长的恶意指纹数据库进行比对。启发式引擎为高置信度检测的自动化请求分配 1 分,或者为仍在评估置信度的检测分配 29 分。
  • 机器学习 (ML):ML 引擎占所有检测(人类和 bot)的绝大多数。ML 模型利用 Cloudflare 的全球网络(每天代理数十亿个请求)来识别自动化和人类流量。ML 引擎产生 2 到 99 的分数。
  • 异常检测 (AD):AD 引擎是一个可选的检测引擎,它使用一种无监督学习形式。Cloudflare 记录域流量的基线,并使用该基线智能检测异常请求。Cloudflare 正在弃用异常检测,并且不再为该引擎引入新客户。未来的行为检测将覆盖相同的检测区域。
  • JavaScript 检测 (JSD)JSD 引擎识别无头浏览器和其他恶意指纹。该引擎在任何请求的客户端执行轻量级、不可见的 JavaScript 注入。JSD 引擎可以拦截、挑战或将请求传递给其他引擎。JSD 默认启用,但完全是可选的。

Bot 仪表板、分析和日志

Cloudflare bot 分数和 bot 流量分析可在多个位置查看。

  • Bots 仪表板: 客户可以轻松查看最长 30 天前的 bot 活动,并根据 bot 分数以及其他 bot、流量和请求过滤器进行过滤。bot 反馈环允许客户向 Cloudflare 报告任何误报或漏报,以便进行进一步调查。
  • Security Analytics: Security Analytics 将 Cloudflare 的所有检测功能汇集在一个仪表板中,并提供整个网站上所有流量的广泛视图。Bots Likelihood 图表和组件提供了可见性,并允许客户根据 bot 分数以及相应的 Automated、Likely Automated、Human 和 Likely Human 分类进行轻松查看和过滤。
  • Events: Events 显示 WAF 采取行动的所有事件。事件和日志可以轻松地根据 bot 分数以及其他 bot、流量或请求标准进行过滤。
  • Log Explorer: 客户可以使用 Log Explorer 提取其他详细的日志数据。日志可以轻松地根据 bot 分数以及其他 bot、流量或请求标准进行过滤。
  • Log Push: 客户还可以将日志导出到第三方 SIEM 或分析平台。Bot 分数、bot 分数来源、bot 检测 ID 和 bot 检测标签都可以作为日志的一部分进行导出。

Bot Management 流量流向

图 1:Cloudflare 如何识别、评分和处理来自 bot 的流量。
图 1:Cloudflare 如何识别、评分和处理来自 bot 的流量。
  1. 客户端请求通过 anycast 发送到最近的 Cloudflare 数据中心,从而确保低延迟。
  2. Cloudflare 采用分层方法进行 bot 检测;每个检测机制都会影响 Cloudflare 分配给每个请求的 bot 分数。每个请求都会被分配一个 1 到 99 之间(含 1 和 99)的 bot 分数。
  3. 一旦客户端请求被 Cloudflare 的所有检测引擎处理并分配了 bot 分数,系统就会执行定义的安全策略,其中一些策略可能也会利用 bot 分数。根据分配的 bot 分数,可以采取各种操作,包括拦截、允许、速率限制以及其中一种挑战操作。
  4. Cloudflare 提供对穿过 Cloudflare 网络的流量和请求的分析与洞察。客户可以使用 Bots、Security Analytics、Events 和 Log Explorer 仪表板来了解其网站上的整体流量和 bot 活动。客户还可以将日志导出到第三方 SIEM 和分析平台。

相关资源

这篇文档对您有帮助吗?