跳转到内容
本站为社区维护的非官方中文翻译,与 Cloudflare, Inc. 无关联。本站不提供账户登录,请勿在任何非官方站点输入您的 Cloudflare 账户信息。官方文档:developers.cloudflare.com

Basin Pipelines

最后更新 查看 MarkdownAgent 设置

摄取、转换流式数据,并以 Apache Iceberg 或 Parquet 格式加载到 R2。

Workers Paid 套餐可用

Basin Pipelines 摄取事件,通过 SQL 进行转换,并以 Iceberg 表 或 Parquet 和 JSON 文件的形式交付到 R2。

无论您处理的是服务器日志、移动应用事件、IoT 遥测数据还是点击流数据,Basin Pipelines 都提供通过 HTTP 端点或 Worker 绑定(binding)实现的持久化摄取、基于 SQL 的转换以及精确一次(exactly-once)交付到 R2。这使您能够轻松构建可用于分析的数据仓库和数据湖仓,而无需管理流式基础设施。

按照快速入门指南创建您的第一个 pipeline,或运行以下 Wrangler 命令:

npx wrangler basin pipelines setup

功能

创建您的第一个 pipeline

构建您的第一个 pipeline,通过 HTTP 或 Workers 摄取数据,应用 SQL 转换,并以 Iceberg 表或 Parquet 文件的形式交付到 R2。

Streams

持久化、带缓冲的队列,通过 HTTP 端点或 Worker 绑定接收事件。

Pipelines

通过 SQL 转换将 stream 连接到 sink,在摄取时验证、过滤、转换和丰富数据。

Sinks

配置数据目的地。将 Apache Iceberg 表写入 Basin Catalog,或导出为 Parquet 和 JSON 文件。

示例

查看端到端示例,包括如何将一个 stream 扇出到多个 Iceberg 表。


相关产品

R2

Cloudflare R2 对象存储允许开发者存储大量非结构化数据,而无需支付典型云存储服务中常见的高额出口带宽费用。

Workers

Cloudflare Workers 允许开发者构建无服务器应用,并即时部署到全球各地,实现卓越的性能、可靠性和规模。


更多资源

限制

了解 Pipelines 的限制。

@CloudflareDev

在 Twitter 上关注 @CloudflareDev,了解产品公告以及 Cloudflare Workers 的最新动态。

Developer Discord

在 Discord 上加入 Workers 社区,提问、展示您正在构建的内容,并与其他开发者讨论平台。

这篇文档对您有帮助吗?