# Pipelines

Ingest real time data streams and load into R2

> Links below point directly to Markdown versions of each page. Any page can also be retrieved as Markdown by sending an `Accept: text/markdown` header to the page's URL without the `index.md` suffix (for example, `curl -H "Accept: text/markdown" https://cloudflaredoc.ubitools.com/pipelines/`).
>
> For other Cloudflare products, see the [Cloudflare documentation directory](https://cloudflaredoc.ubitools.com/llms.txt).

## Overview

- [Cloudflare Pipelines 概览](https://cloudflaredoc.ubitools.com/pipelines/index.md): 摄取、转换流式数据，并以 Apache Iceberg 表或 Parquet 和 JSON 文件的形式交付到 R2。

## 快速入门

- [快速入门](https://cloudflaredoc.ubitools.com/pipelines/getting-started/index.md): 创建您的第一个 pipeline，摄取流式数据并写入 R2 Data Catalog 作为 Apache Iceberg 表。

## 数据流（Streams）

- [数据流（Streams）](https://cloudflaredoc.ubitools.com/pipelines/streams/index.md): 在 Cloudflare Pipelines 中接收和存储事件以进行处理的持久化、带缓冲的队列。
- [Logpush 作为数据源](https://cloudflaredoc.ubitools.com/pipelines/streams/logpush/index.md): 使用 Cloudflare Logpush 将 Cloudflare 产品的日志发送到 Pipelines stream。
- [管理 stream](https://cloudflaredoc.ubitools.com/pipelines/streams/manage-streams/index.md): 创建、配置和管理用于数据摄取的 stream
- [写入 stream](https://cloudflaredoc.ubitools.com/pipelines/streams/writing-to-streams/index.md): 通过 Worker 绑定（binding）或 HTTP 端点向 stream 发送数据

## 接收端（Sinks）

- [接收端（Sinks）](https://cloudflaredoc.ubitools.com/pipelines/sinks/index.md): 在 Cloudflare Pipelines 中配置数据目的地，写入 R2 或 R2 Data Catalog。
- [R2 接收端](https://cloudflaredoc.ubitools.com/pipelines/sinks/available-sinks/r2/index.md): 将数据以 JSON 或 Parquet 文件形式写入 R2 对象存储
- [R2 Data Catalog 接收端](https://cloudflaredoc.ubitools.com/pipelines/sinks/available-sinks/r2-data-catalog/index.md): 将数据以 Apache Iceberg 表形式写入 R2 Data Catalog
- [管理 sink](https://cloudflaredoc.ubitools.com/pipelines/sinks/manage-sinks/index.md): 创建、配置和管理用于数据存储的 sink

## 管道（Pipelines）

- [管道（Pipelines）](https://cloudflaredoc.ubitools.com/pipelines/pipelines/index.md): 通过 SQL 转换将 stream 连接到 sink，以过滤、丰富和重构事件。
- [管理 pipeline](https://cloudflaredoc.ubitools.com/pipelines/pipelines/manage-pipelines/index.md): 创建、配置和管理 stream 与 sink 之间的 SQL 转换

## 示例

- [示例](https://cloudflaredoc.ubitools.com/pipelines/examples/index.md): 浏览展示如何使用 Cloudflare Pipelines 构建的示例。
- [将 stream 扇出到多个 Iceberg 表](https://cloudflaredoc.ubitools.com/pipelines/examples/bluesky-firehose-fanout/index.md): 使用单个 Pipelines stream 和多条 SQL 语句将 Bluesky Jetstream 事件路由到多个 R2 Data Catalog 表。

## observability

- [指标和分析](https://cloudflaredoc.ubitools.com/pipelines/observability/metrics/index.md): 通过仪表板或 GraphQL API 查询 Pipelines 的摄取、处理和交付指标。

## platform

- [限制](https://cloudflaredoc.ubitools.com/pipelines/platform/limits/index.md): 开放 Beta 期间 Cloudflare Pipelines 的 stream、sink 和 pipeline 账户级限制。
- [定价](https://cloudflaredoc.ubitools.com/pipelines/platform/pricing/index.md): Cloudflare Pipelines 的 SQL 转换、sink 定价及包含用量详情。

## reference

- [旧版 pipeline](https://cloudflaredoc.ubitools.com/pipelines/reference/legacy-pipelines/index.md): 2025 年 9 月之前创建的 pipeline 迁移到新 Pipelines 架构的指南。
- [REST API 参考 参考](https://cloudflaredoc.ubitools.com/api/resources/pipelines/index.md): Pipelines REST API 参考，用于以编程方式管理 pipeline、stream 和 sink。
- [Terraform 配置](https://cloudflaredoc.ubitools.com/pipelines/reference/terraform/index.md): 使用 Cloudflare provider 通过 Terraform 配置 Pipelines 和 R2 Data Catalog。
- [Wrangler 命令](https://cloudflaredoc.ubitools.com/pipelines/reference/wrangler-commands/index.md): 用于管理 Pipelines stream、sink 和 pipeline 的 Wrangler CLI 命令。

## sql-reference

- [数组函数](https://cloudflaredoc.ubitools.com/pipelines/sql-reference/scalar-functions/array/index.md): 用于操作数组的标量函数
- [二进制字符串函数](https://cloudflaredoc.ubitools.com/pipelines/sql-reference/scalar-functions/binary-string/index.md): 用于操作二进制字符串的标量函数
- [条件函数](https://cloudflaredoc.ubitools.com/pipelines/sql-reference/scalar-functions/conditional/index.md): 用于实现条件逻辑的标量函数
- [哈希函数](https://cloudflaredoc.ubitools.com/pipelines/sql-reference/scalar-functions/hashing/index.md): 用于哈希值的标量函数
- [JSON 函数](https://cloudflaredoc.ubitools.com/pipelines/sql-reference/scalar-functions/json/index.md): 用于操作 JSON 的标量函数
- [数学函数](https://cloudflaredoc.ubitools.com/pipelines/sql-reference/scalar-functions/math/index.md): 用于数学运算的标量函数
- [其他函数](https://cloudflaredoc.ubitools.com/pipelines/sql-reference/scalar-functions/other/index.md): 其他标量函数
- [正则表达式函数](https://cloudflaredoc.ubitools.com/pipelines/sql-reference/scalar-functions/regex/index.md): 用于正则表达式的标量函数
- [字符串函数](https://cloudflaredoc.ubitools.com/pipelines/sql-reference/scalar-functions/string/index.md): 用于操作字符串的标量函数
- [结构体函数](https://cloudflaredoc.ubitools.com/pipelines/sql-reference/scalar-functions/struct/index.md): 用于操作结构体的标量函数
- [时间和日期函数](https://cloudflaredoc.ubitools.com/pipelines/sql-reference/scalar-functions/time-and-date/index.md): 用于处理时间和日期的标量函数
- [SELECT 语句](https://cloudflaredoc.ubitools.com/pipelines/sql-reference/select-statements/index.md): Cloudflare Pipelines SQL 中用于数据转换的查询语法
- [SQL 数据类型](https://cloudflaredoc.ubitools.com/pipelines/sql-reference/sql-data-types/index.md): Cloudflare Pipelines SQL 支持的数据类型