旧版 pipeline

2025 年 9 月 25 日之前通过旧版 API 创建的 pipeline 处于弃用路径。

要确认 pipeline 是否为旧版，请在仪表板的 Basin Pipelines > Pipelines 下查看，或在 Wrangler 中运行 basin pipelines list 命令。两处都会将旧版 pipeline 标记为“legacy”。

新 pipeline 提供 SQL 转换、多种输出格式和改进的架构。

• 新 pipeline 支持用于数据处理的 SQL 转换。
• 新 pipeline 写入 JSON、Parquet 和 Apache Iceberg 格式，而不仅限于 JSON。
• 新 pipeline 将 stream、pipeline 和 sink 分离为独立资源。
• 新 pipeline 支持可选的结构化 schema 及验证。
• 新 pipeline 提供可配置的滚动策略和自定义分区。

旧版 pipeline 会继续运行，但新功能和改进仅适用于新的 pipeline 架构。要迁移：

1. 使用交互式设置创建新 pipeline：

   npmyarnpnpm

   npx wrangler basin pipelines setup

2. 使用所需的 stream、SQL 转换和 sink 配置新 pipeline。

3. 更新应用程序，将数据发送到新的 stream 端点。

4. 验证完成后，删除旧版 pipeline。

有关详细说明，请参阅快速入门指南。