跳转到内容
本站为社区维护的非官方中文翻译,与 Cloudflare, Inc. 无关联。本站不提供账户登录,请勿在任何非官方站点输入您的 Cloudflare 账户信息。官方文档:developers.cloudflare.com

Logpush 运行状况仪表板

最后更新 查看 MarkdownAgent 设置

Logpush 运行状况仪表板(Logpush Health Dashboards)可让您清晰了解 Logpush 作业的性能与可靠性。您可以监控日志投递状态、诊断问题,并了解发送到已配置目标的数据量。这有助于确保用于安全、合规和可观测性的关键日志数据始终按预期流动。

通过运行状况通知保持知情

配置 Logpush 运行状况通知,以便在 Logpush 作业被禁用或出现错误时接收提醒。尽早检测至关重要,因为 Logpush 无法回填日志——数据一旦丢弃,将永久丢失。

运行状况通知与运行状况仪表板配合使用,为 Logpush 作业性能提供实时提醒和历史分析。


访问运行状况仪表板

  1. 在 Cloudflare 仪表板 中,前往账户或域名(zone)级别的 Logpush(日志推送) 页面。
  2. 前往 Health(运行状况) 选项卡。
  3. 选择要分析的作业。
  4. 指定要查看的时间范围。
  5. (可选) 从 Jobs(作业) 选项卡中,找到要分析的作业。
  6. 将鼠标悬停在该作业的 Job Health (24h)(作业运行状况(24 小时)) 列上,然后选择 View Health(查看运行状况)。
  7. 您将被重定向到 Health(运行状况) 选项卡,可在其中选择所需的分析时间范围。

数据可用性与 API 访问

  • 运行状况仪表板 在 Cloudflare 仪表板中为每个 Logpush 作业显示最多 30 天 的运行状况指标。
  • 可通过 GraphQL API 中的 logpushHealthAdaptiveGroups 数据集查询原始运行状况指标。
  • 您可以使用 Cloudflare GraphQL Explorer ↗ 探索或测试查询。

作业运行状况中的关键概念

日志行(Log line)

Cloudflare 生成的单条日志条目,例如 HTTP 请求、DNS 查询或 Access 事件。

批次(Batch)

Cloudflare 作为单个文件或请求一并上传到您目标的一组日志。批次也称为文件。

上传(Upload)

将一批日志上传到目标的单次尝试。如果首次尝试失败,Cloudflare 会自动重试,直到上传成功或达到重试上限。每次上传可能有三种结果之一:Successful(成功)、Retry attempts(重试) 或 Failed(失败)。

Successful

表示一批日志已成功上传到您的目标,没有错误或超时。上传成功后,该批次被标记为已投递,不再进行进一步重试。

Retry attempts

在初始失败后进行的额外上传尝试。计数包括首次失败的尝试。重试会持续进行,直到批次成功投递,或缓冲数据超出保留窗口而过期。

Failed

表示某批次的所有上传尝试均已用尽且未成功。当批次失败时,Cloudflare 无法将其日志投递到您的目标,该批次中的所有日志都会被丢弃。这些日志将永久丢失。

运行状况仪表板流程

Logpush 运行状况仪表板 提供两个互补视图,帮助您监控和排查日志投递:Upload Health(上传运行状况) 和 Upload Reliability(上传可靠性)。

每个视图突出显示作业性能的不同方面——已投递的内容以及投递的可靠程度。

Upload Health(上传运行状况)

Upload Health(上传运行状况) 帮助您了解有多少数据已成功上传,以及在何处上传失败或数据被丢弃。此视图回答的问题是:上传是否成功,日志是否到达目标?

图表与指标

  • Batch Upload Success vs. Failure(批次上传成功与失败):显示成功上传与失败的批次数。

    • Successful Uploads(成功上传) - 成功上传的批次总数。
    • Failed Uploads(失败上传) - 由于连接或目标问题而未能上传的批次总数。
  • Log Lines Uploaded(已上传日志行):跟踪成功上传到目标的日志行总数。

    • Uploaded Log Lines(已上传日志行) - 成功投递的日志行总数。
    • Dropped Log Lines(已丢弃日志行) - 在所有重试尝试后仍无法投递的日志行总数。
  • Data Volume(数据量):显示已上传日志数据的总体积(以字节为单位),包括压缩和未压缩。

    • Uncompressed Data (raw)(未压缩数据(原始)) - 压缩前日志数据的总大小。
    • Compressed Data (uploaded)(已压缩数据(已上传)) - 压缩后日志数据的总大小,表示实际传输的字节数。

何时使用

从这里开始评估整体数据投递运行状况:

  • 高上传成功率和稳定的数据量表明 Logpush 作业运行状况良好。
  • 丢弃、尖峰或失败的上传表明存在投递问题——请前往 Upload Reliability(上传可靠性) 调查根本原因。

Upload Reliability(上传可靠性)

Upload Reliability(上传可靠性) 帮助您识别影响所有上传尝试(包括重试和失败)的可靠性、稳定性和延迟的因素。此视图回答的问题是:上传是否稳定且高效?

图表与指标

  • Uploaded Logs by Status Code(按状态码分类的已上传日志) 按状态码分类显示成功、失败或重试的批次数。

    • Success Rate(成功率) - 成功上传的批次百分比。
    • Successful Uploads(成功上传) - 成功完成的批次总数。
  • Upload Duration(上传持续时间):显示完成每批上传所需的平均时间,按状态码细分。

    • Destination Availability(目标可用性) - Cloudflare 成功连接到您的目标并完成上传的频率。
    • Average Upload Duration(平均上传持续时间) - 日志生成后上传所需的平均时间。
  • Retry Attempts(重试次数):显示失败上传后的重试次数,按状态码细分。

    • Retry Attempts(重试次数) - 在先前失败后进行的上传尝试总数(包括首次失败的尝试)。

何时使用

使用此视图排查可靠性问题:

  • 高延迟、频繁重试或低目标可用性表明目标端点或网络可能存在不稳定。
  • 结合 Upload Health(上传运行状况) 指标,将投递成功情况与潜在的可靠性模式关联起来。

故障排除指南

Logpush 运行状况仪表板可帮助您监控 Logpush 作业的状态、可靠性和性能。使用本指南解读每个图表、识别异常的根本原因并采取纠正措施。

图表名称 症状 含义 可能原因 建议操作
Batch Upload Success vs Failure(批次上传成功与失败) 上传失败 Cloudflare 在所有重试尝试后仍无法投递批次。这些批次被标记为 failed,其中的所有日志行都会被丢弃。 - 目标端点不可用或拒绝连接(凭据过期、停机)。
- 由于批次过大或网络延迟导致上传超时。
- 目标限流或速率限制。
- 验证目标凭据和端点运行状况。
- 在 Logpush 作业配置中减小批次大小。
- 确保目标能够处理预期的上传速率。
- 如果失败持续存在,请联系 Cloudflare 支持。
Log Lines Uploaded(已上传日志行) 丢弃的日志行或投递量减少 投递的日志少于预期,通常由于上传失败或批次丢弃。 - 失败上传激增。
- 目标摄入限制或部分上传。
- 比较 Log Lines Uploaded(已上传日志行) 和 Data Volume(数据量) 图表中的下降。
- 检查目标是否有摄入错误或速率限制。
- 审查最近的 Logpush 作业配置更改。
Data Volume (Compressed & Uncompressed)(数据量(压缩与未压缩)) 数据量意外下降 已投递数据量低于预期,表明压缩效率低下或批次丢弃。 - 上传失败或不完整的投递。
- 目标因大小或配额限制拒绝上传。
- 审查压缩设置和批次大小。
- 验证目标存储容量。
- 检查失败上传或重试是否有尖峰。
Uploaded Logs by Status Code(按状态码分类的已上传日志) 大量重试或失败状态码 上传在首次尝试时失败,但在重试时成功。 - 目标临时停机或限流。
- Cloudflare 与目标之间的网络不稳定。
- 按状态码审查重试和失败分布。
- 与 Destination Availability(目标可用性) 比较以关联。
- 减小批次大小。
Retry Attempts(重试次数) 频繁的重试活动 上传反复失败并多次重试。 - 目标不稳定或瞬态错误。
- 高延迟或目标确认缓慢。
- 验证目标正常运行时间和摄入速率。
- 确保目标未对请求进行限流。
- 偶发重试是预期的;持续尖峰需要审查。
Avg. Upload Duration(平均上传持续时间) 上传时间过长 上传耗时超过预期,表明延迟或批次过大。 - 大批次或未压缩的负载。
- 网络或区域延迟。
- 目标处理延迟。
- 审查 Avg. Upload Duration(平均上传持续时间) 趋势。
- 减小批次大小以加快上传。
- 验证目标吞吐量和速率限制设置。
Destination Availability(目标可用性) 可用性低或不稳定 Cloudflare 无法持续连接到您的目标。 - 目标停机、DNS 错误或身份验证问题。
- 防火墙或网络限制阻止 Cloudflare。
- 检查 Destination Availability(目标可用性) 是否有下降。
- 确认目标凭据和端点正常运行时间。
- 审查允许列表或网络访问设置。

目标错误代码

当 Cloudflare 无法从目标收到 HTTP 状态码时(例如连接从未完成或请求被中止),投递尝试会记录 Cloudflare 生成的错误代码,而不是 HTTP 状态。这些代码会出现在运行状况仪表板以及 GraphQL 数据集 logpushHealthAdaptiveGroups 中。

代码 名称 含义
1101 ConnectionError Cloudflare 在连接到目标时发生非超时网络错误(例如 TCP 重置或连接被拒绝)。
1102 ConnectionTimeout Cloudflare 无法在连接超时内打开到目标的 TCP 连接。通常由防火墙、网络路径或无法访问的主机引起。
1103 InternalLogpushError Cloudflare 在处理上传时遇到内部错误。如果反复看到此代码,请联系 Cloudflare 支持。
1104 ConfigError 作业配置无效。请验证目标 URL、凭据和访问权限,并使用验证端点测试配置。
1105 DNSError Cloudflare 无法解析目标主机名。请验证目标端点的 DNS 记录。
1106 Timeout 请求停滞或超过整体 HTTP 客户端超时。常见于目标接受连接后停止读取正文,或 TLS 握手耗时过长。
1107 RequestError HTTP 请求在返回状态码之前失败,且该失败未归类为超时。通常由目标在请求中途关闭 HTTP/2 连接引起。
1108 TransferError Cloudflare 在传输请求正文时遇到错误——通常是上传期间连接被重置。
1201 FlushMaxLag Cloudflare 丢弃了一个批次,因为缓冲数据在投递前超出保留窗口而过期。此代码表示持续投递失败——请调查目标以及同一时间范围内更早的错误代码。

上传超时

Cloudflare 会在上传路径的不同层应用多个超时。了解每一层有助于解读目标错误代码并调整目标端点。

超时 默认值 适用于 相关错误代码
TCP 连接(拨号) 5 秒 所有使用 HTTP 的目标 1102 ConnectionTimeout
TLS 握手 5 秒 所有 HTTPS 目标 1106 Timeout
无进度看门狗 10 秒 使用共享 Cloudflare HTTP 传输的目标(HTTP 端点、Cloudflare R2、Splunk、Datadog、New Relic、CrowdStrike、Basin Pipelines) 1106 Timeout
空闲连接复用 10 秒 持久 HTTP 连接 不会作为错误显示。连接会按需关闭并重新打开。
HTTP 客户端总超时 2 分钟 仅 HTTP 端点系列:https://、Datadog、New Relic、CrowdStrike、Basin Pipelines 1106 Timeout
HTTP/2 空闲读取加 ping 空闲 10 秒,ping 超时 15 秒 HTTP/2 连接 1107 RequestError
HTTP/2 写入停滞 10 秒 HTTP/2 连接 1106 Timeout 或 1107 RequestError

HTTP 端点运营商指南

  • 确保端点在端到端 2 分钟内确认每个 POST,并保持请求正文持续流动,分块之间的间隔不超过 10 秒。
  • 如果在负载均衡器或 WAF 处终止连接,请验证空闲连接和读取超时不短于超时表中的值。接收端过于激进的调优经常会在 Cloudflare 侧表现为 1106 或 1107 错误。
  • 如果依赖 HTTP/2,请确保服务器在 15 秒内响应 PING 帧。

对象存储目标

Amazon S3、Google Cloud Storage 和 Microsoft Azure 目标不使用共享的 Cloudflare HTTP 传输。它们使用自行配置超时的客户端库,因此超时表中的值均不适用。因此,单次上传可能在失败前运行超过 2 分钟。

重试行为

Logpush 通过自动重试来处理目标的临时问题。当目标暂时不可用时,Cloudflare 会缓冲受影响的批次并重试。

重试不会在固定次数后停止。相反,Cloudflare 会持续重试某个批次,直到上传成功并将该批次标记为已投递,或缓冲数据超出内部保留窗口而过期。数据过期时,批次会被丢弃(记录为 1201 FlushMaxLag),其中包含的日志行将永久丢失。

如果 24 小时 内没有任何批次成功投递,Cloudflare 会假定目标永久不可用并禁用该作业。目标问题解决后,你可以从 Cloudflare 仪表板 ↗ 重新启用该作业。Cloudflare 无法回填作业禁用期间生成的日志。

当目标较慢但仍接受上传时,Logpush 会自动增加并行上传数量以追赶。一旦目标恢复且延迟回到正常水平,并发会再缩减。

这篇文档对您有帮助吗?