跳转到内容
本站为社区维护的非官方中文翻译,与 Cloudflare, Inc. 无关联。本站不提供账户登录,请勿在任何非官方站点输入您的 Cloudflare 账户信息。官方文档:developers.cloudflare.com

启用 Amazon S3

最后更新 查看 MarkdownAgent 设置

Cloudflare Logpush 支持通过 Cloudflare 仪表板或 API 将日志直接推送到 Amazon S3。使用 AWS GovCloud 位置的客户应使用我们的 S3-compatible endpoint,而不要使用 Amazon S3 endpoint。AWS 不允许商业 AWS 身份在 GovCloud 中担任角色,因此 GovCloud 存储桶需要访问密钥。

通过 Cloudflare 仪表板管理

  1. 在 Cloudflare 仪表板中,前往账户或域名(也称为 zone)级别的 Logpush 页面。

    账户级别:前往 Logpush ↗

    域名(也称为 zone)级别:前往 Logpush ↗

  2. 根据你的选择,可分别访问账户范围数据集与 zone 范围数据集。

  3. 选择 Create a Logpush job(创建 Logpush 作业)。

  1. 在 Select a destination(选择目标) 中,选择 Amazon S3。

  2. 输入或选择以下目标信息:

    • Bucket(存储桶) - S3 存储桶名称
    • Path(路径) - 存储容器内的存储桶位置
    • Organize logs into daily subfolders(按日整理到子文件夹)(推荐)
    • Bucket region(存储桶区域)
    • 如果存储桶策略要求使用 AWS SSE-S3 AES256 服务器端加密 ↗,请选择加密选项。对于使用 SSE-KMS 的存储桶,请勿选择此选项。请参阅使用服务器端加密加密日志。
    • 对于 Grant Cloudflare access to upload files to your bucket(授予 Cloudflare 将文件上传到存储桶的权限),请确保你的存储桶已配置 策略 ↗(若尚未添加):
      • 复制 JSON 策略,然后前往 Amazon S3 控制台中的存储桶,将策略粘贴到 Permissions(权限) > Bucket Policy(存储桶策略),并选择 Save(保存)。

输入完目标详细信息后,选择 Continue(继续)。

  1. 为证明所有权,Cloudflare 会向你指定的目标发送一个文件。要查找令牌,请在所有权验证文件的 Overview(概览) 选项卡中选择 Open(打开) 按钮,然后将其粘贴到 Cloudflare 仪表板以验证你对存储桶的访问权限。输入 Ownership Token(所有权令牌) 并选择 Continue(继续)。

  2. 选择要推送到存储服务的数据集。

  3. 在下一步中,你需要配置 Logpush 作业:

    • 输入 Job name(作业名称)。
    • 在 If logs match(如果日志匹配) 下,可选择要包含和/或从日志中排除的事件。更多信息请参阅 Filters。并非所有数据集都提供此选项。
    • 在 Send the following fields(发送以下字段) 中,你可以选择将所有日志推送到存储目标,或有选择地推送所需日志。
  4. 在 Advanced Options(高级选项) 中,你可以:

    • 选择日志中时间戳字段的格式(RFC3339(默认)、Unix 或 UnixNano)。
    • 为日志选择 采样率,或推送随机采样的日志百分比。
    • 为 CVE-2021-44228 启用脱敏。此选项会将每次出现的 ${ 替换为 x{。
  5. 配置完 Logpush 作业后,选择 Submit(提交)。

创建并获取对 S3 存储桶的访问权限

Cloudflare 使用 Amazon Identity and Access Management (IAM) 获取对你的 S3 存储桶的访问权限。Cloudflare IAM 用户需要对存储桶具有 PutObject 权限。

日志以 gzip 压缩对象的形式写入该存储桶,并使用 S3 Access Control List (ACL) Bucket-owner-full-control 权限。

为便于说明,假设你要将日志存储在存储桶 burritobot 的 logs 目录中。则 S3 URL 为 s3://burritobot/logs。

在尝试读取或配置 Logpush 任务之前,请确保已启用 Log Share 权限。更多信息请参阅角色部分。


要启用 Logpush 到 Amazon S3:

  1. 创建 S3 存储桶。请参阅 Amazon 说明 ↗。

  2. 编辑下方策略并粘贴到 S3 > Bucket(存储桶) > Permissions(权限) > Bucket Policy(存储桶策略),将 Resource 值替换为你自己的存储桶路径。AWS Principal 由 Cloudflare 拥有,请勿更改。

{
    "Id": "<POLICY_ID>",
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Stmt1506627150918",
            "Action": ["s3:PutObject"],
            "Effect": "Allow",
            "Resource": "arn:aws:s3:::burritobot/logs/*",
            "Principal": {
                "AWS": ["arn:aws:iam::391854517948:user/cloudflare-logpush"]
            }
        }
    ]
}

在 AWS 账户中使用 IAM 角色

你可以让 Logpush 在 AWS 账户中担任 IAM 角色并以该角色身份写入存储桶,而不是在存储桶策略中授予 Cloudflare IAM 用户访问权限。如果存储桶策略无法指定第三方主体,或者存储桶使用 SSE-KMS 加密,请使用此选项。

此选项可通过 API 和 Terraform 使用,但无法在仪表板中使用,也不适用于 AWS GovCloud 存储桶。

  1. 使用以下信任策略创建 IAM 角色。将 <EXTERNAL_ID> 替换为你选择的唯一值。外部 ID 可防止其他 Cloudflare 账户使用你的角色。更多信息请参阅访问第三方拥有的 AWS 账户 ↗。

    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Effect": "Allow",
                "Principal": {
                    "AWS": "arn:aws:iam::391854517948:user/cloudflare-logpush"
                },
                "Action": "sts:AssumeRole",
                "Condition": {
                    "StringEquals": { "sts:ExternalId": "<EXTERNAL_ID>" }
                }
            }
        ]
    }
  2. 附加允许该角色写入存储桶路径的权限策略。将 <BUCKET_NAME> 和 <PATH> 替换为你自己的值。

    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Effect": "Allow",
                "Action": "s3:PutObject",
                "Resource": "arn:aws:s3:::<BUCKET_NAME>/<PATH>/*"
            }
        ]
    }

    如果存储桶使用 SSE-KMS,还需授予该角色对密钥执行 kms:GenerateDataKey 的权限。请参阅使用服务器端加密加密日志。

  3. 请求所有权质询以及创建作业时,请在 destination_conf 字段中使用以下格式:

    s3://<BUCKET_NAME>/<PATH>/{DATE}?region=<REGION>&sts-assume-role-arn=arn:aws:iam::<AWS_ACCOUNT_ID>:role/<ROLE_NAME>&sts-external-id=<EXTERNAL_ID>
  4. 请求所有权质询,然后使用令牌创建作业。Logpush 会以该角色身份写入所有权质询文件。有关 API 调用,请参阅使用 cURL 管理 Logpush。

同一作业中不能同时使用 sts-assume-role-arn、access-key-id 和 secret-access-key。

使用服务器端加密加密日志

Logpush 支持 Amazon S3 的两种服务器端加密方式。

SSE-S3

要为每个对象启用 SSE-S3 加密,请在 destination_conf 中添加 sse=AES256。在仪表板中,选择加密选项。唯一接受的值是 AES256。

仅当存储桶策略拒绝未包含 x-amz-server-side-encryption 标头的上传时,才需要此选项。Amazon S3 默认使用 SSE-S3 加密新对象。

SSE-KMS

Logpush 不会发送 SSE-KMS 标头或 KMS 密钥 ID,而是由 Amazon S3 对 Logpush 写入的每个对象应用存储桶的默认加密。要使用 AWS Key Management Service (AWS KMS) 密钥加密存储日志:

  1. 将存储桶的默认加密 ↗设置为使用客户管理密钥的 SSE-KMS。

  2. 将作业配置为在 AWS 账户中使用 IAM 角色。Cloudflare IAM 用户无法使用你账户中的 KMS 密钥。

  3. 授予该角色对密钥执行 kms:GenerateDataKey 的权限。如果密钥和角色位于不同 AWS 账户中,密钥策略也必须允许该角色。

  4. 不要在 destination_conf 中填写 sse。如果设置 sse=AES256,Amazon S3 会使用 SSE-S3,而不是你的 KMS 密钥。

  5. 删除那些会拒绝不含 x-amz-server-side-encryption 标头的 PutObject 请求的存储桶策略语句,包括使用 StringNotEqualsIfExists 的语句。Logpush 不会发送此标头。

要确认日志使用了你的密钥,请对已交付对象运行 aws s3api head-object。响应中的 ServerSideEncryption 应显示为 aws:kms,SSEKMSKeyId 则显示你的密钥。读取日志或所有权质询文件的任何身份都需要对该密钥拥有 kms:Decrypt 权限。

如果所有权质询因 kms:GenerateDataKey 的 AccessDenied 错误而失败,并且错误中指出 user/cloudflare-logpush,说明作业使用的是 Cloudflare IAM 用户。请将作业切换为 AWS 账户中的 IAM 角色。

这篇文档对您有帮助吗?