Cloudflare Logpush 支持通过 Cloudflare 仪表板或 API 将日志直接推送到 Amazon S3。使用 AWS GovCloud 位置的客户应使用我们的 S3-compatible endpoint,而不要使用 Amazon S3 endpoint。AWS 不允许商业 AWS 身份在 GovCloud 中担任角色,因此 GovCloud 存储桶需要访问密钥。
-
在 Cloudflare 仪表板中,前往账户或域名(也称为 zone)级别的 Logpush 页面。
账户级别:前往 Logpush ↗
域名(也称为 zone)级别:前往 Logpush ↗
-
根据你的选择,可分别访问账户范围数据集与 zone 范围数据集。
-
选择 Create a Logpush job(创建 Logpush 作业)。
-
在 Select a destination(选择目标) 中,选择 Amazon S3。
-
输入或选择以下目标信息:
- Bucket(存储桶) - S3 存储桶名称
- Path(路径) - 存储容器内的存储桶位置
- Organize logs into daily subfolders(按日整理到子文件夹)(推荐)
- Bucket region(存储桶区域)
- 如果存储桶策略要求使用 AWS SSE-S3 AES256 服务器端加密 ↗,请选择加密选项。对于使用 SSE-KMS 的存储桶,请勿选择此选项。请参阅使用服务器端加密加密日志。
- 对于 Grant Cloudflare access to upload files to your bucket(授予 Cloudflare 将文件上传到存储桶的权限),请确保你的存储桶已配置 策略 ↗(若尚未添加):
- 复制 JSON 策略,然后前往 Amazon S3 控制台中的存储桶,将策略粘贴到 Permissions(权限) > Bucket Policy(存储桶策略),并选择 Save(保存)。
输入完目标详细信息后,选择 Continue(继续)。
-
为证明所有权,Cloudflare 会向你指定的目标发送一个文件。要查找令牌,请在所有权验证文件的 Overview(概览) 选项卡中选择 Open(打开) 按钮,然后将其粘贴到 Cloudflare 仪表板以验证你对存储桶的访问权限。输入 Ownership Token(所有权令牌) 并选择 Continue(继续)。
-
选择要推送到存储服务的数据集。
-
在下一步中,你需要配置 Logpush 作业:
- 输入 Job name(作业名称)。
- 在 If logs match(如果日志匹配) 下,可选择要包含和/或从日志中排除的事件。更多信息请参阅 Filters。并非所有数据集都提供此选项。
- 在 Send the following fields(发送以下字段) 中,你可以选择将所有日志推送到存储目标,或有选择地推送所需日志。
-
在 Advanced Options(高级选项) 中,你可以:
- 选择日志中时间戳字段的格式(
RFC3339(默认)、Unix或UnixNano)。 - 为日志选择 采样率,或推送随机采样的日志百分比。
- 为
CVE-2021-44228启用脱敏。此选项会将每次出现的${替换为x{。
- 选择日志中时间戳字段的格式(
-
配置完 Logpush 作业后,选择 Submit(提交)。
Cloudflare 使用 Amazon Identity and Access Management (IAM) 获取对你的 S3 存储桶的访问权限。Cloudflare IAM 用户需要对存储桶具有 PutObject 权限。
日志以 gzip 压缩对象的形式写入该存储桶,并使用 S3 Access Control List (ACL)
Bucket-owner-full-control 权限。
为便于说明,假设你要将日志存储在存储桶 burritobot 的 logs 目录中。则 S3 URL 为 s3://burritobot/logs。
在尝试读取或配置 Logpush 任务之前,请确保已启用 Log Share 权限。更多信息请参阅角色部分。
要启用 Logpush 到 Amazon S3:
-
创建 S3 存储桶。请参阅 Amazon 说明 ↗。
-
编辑下方策略并粘贴到 S3 > Bucket(存储桶) > Permissions(权限) > Bucket Policy(存储桶策略),将
Resource值替换为你自己的存储桶路径。AWSPrincipal由 Cloudflare 拥有,请勿更改。
{
"Id": "<POLICY_ID>",
"Version": "2012-10-17",
"Statement": [
{
"Sid": "Stmt1506627150918",
"Action": ["s3:PutObject"],
"Effect": "Allow",
"Resource": "arn:aws:s3:::burritobot/logs/*",
"Principal": {
"AWS": ["arn:aws:iam::391854517948:user/cloudflare-logpush"]
}
}
]
}你可以让 Logpush 在 AWS 账户中担任 IAM 角色并以该角色身份写入存储桶,而不是在存储桶策略中授予 Cloudflare IAM 用户访问权限。如果存储桶策略无法指定第三方主体,或者存储桶使用 SSE-KMS 加密,请使用此选项。
此选项可通过 API 和 Terraform 使用,但无法在仪表板中使用,也不适用于 AWS GovCloud 存储桶。
-
使用以下信任策略创建 IAM 角色。将
<EXTERNAL_ID>替换为你选择的唯一值。外部 ID 可防止其他 Cloudflare 账户使用你的角色。更多信息请参阅访问第三方拥有的 AWS 账户 ↗。{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::391854517948:user/cloudflare-logpush" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "sts:ExternalId": "<EXTERNAL_ID>" } } } ] } -
附加允许该角色写入存储桶路径的权限策略。将
<BUCKET_NAME>和<PATH>替换为你自己的值。{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "s3:PutObject", "Resource": "arn:aws:s3:::<BUCKET_NAME>/<PATH>/*" } ] }如果存储桶使用 SSE-KMS,还需授予该角色对密钥执行
kms:GenerateDataKey的权限。请参阅使用服务器端加密加密日志。 -
请求所有权质询以及创建作业时,请在
destination_conf字段中使用以下格式:s3://<BUCKET_NAME>/<PATH>/{DATE}?region=<REGION>&sts-assume-role-arn=arn:aws:iam::<AWS_ACCOUNT_ID>:role/<ROLE_NAME>&sts-external-id=<EXTERNAL_ID> -
请求所有权质询,然后使用令牌创建作业。Logpush 会以该角色身份写入所有权质询文件。有关 API 调用,请参阅使用 cURL 管理 Logpush。
同一作业中不能同时使用 sts-assume-role-arn、access-key-id 和 secret-access-key。
Logpush 支持 Amazon S3 的两种服务器端加密方式。
要为每个对象启用 SSE-S3 加密,请在 destination_conf 中添加 sse=AES256。在仪表板中,选择加密选项。唯一接受的值是 AES256。
仅当存储桶策略拒绝未包含 x-amz-server-side-encryption 标头的上传时,才需要此选项。Amazon S3 默认使用 SSE-S3 加密新对象。
Logpush 不会发送 SSE-KMS 标头或 KMS 密钥 ID,而是由 Amazon S3 对 Logpush 写入的每个对象应用存储桶的默认加密。要使用 AWS Key Management Service (AWS KMS) 密钥加密存储日志:
-
将存储桶的默认加密 ↗设置为使用客户管理密钥的 SSE-KMS。
-
将作业配置为在 AWS 账户中使用 IAM 角色。Cloudflare IAM 用户无法使用你账户中的 KMS 密钥。
-
授予该角色对密钥执行
kms:GenerateDataKey的权限。如果密钥和角色位于不同 AWS 账户中,密钥策略也必须允许该角色。 -
不要在
destination_conf中填写sse。如果设置sse=AES256,Amazon S3 会使用 SSE-S3,而不是你的 KMS 密钥。 -
删除那些会拒绝不含
x-amz-server-side-encryption标头的PutObject请求的存储桶策略语句,包括使用StringNotEqualsIfExists的语句。Logpush 不会发送此标头。
要确认日志使用了你的密钥,请对已交付对象运行 aws s3api head-object。响应中的 ServerSideEncryption 应显示为 aws:kms,SSEKMSKeyId 则显示你的密钥。读取日志或所有权质询文件的任何身份都需要对该密钥拥有 kms:Decrypt 权限。
如果所有权质询因 kms:GenerateDataKey 的 AccessDenied 错误而失败,并且错误中指出 user/cloudflare-logpush,说明作业使用的是 Cloudflare IAM 用户。请将作业切换为 AWS 账户中的 IAM 角色。