本页介绍 K2 背后的概念。
K2 的核心原语是我们所说的 stream(流)——一个有序、持久的事件日志。流位于写入事件的生产者和读取事件的消费者之间。与消费会移除条目的传统队列不同,日志中的生产和消费完全解耦。写入会将事件追加到日志,读取只是推进日志中的指针(或 offset,偏移)。
这带来一些有用的特性:
- 写入和读取完全独立,因此不会因为读取缓慢而耗尽空间或阻塞写入
- 我们可以支持多个独立读取者消费整个流(发布-订阅风格),因为读取者互不影响,也不影响日志
- 我们可以支持历史重放,因为数据仅按可配置的生存时间(TTL)删除
每个流都有名称和保留期。创建流时,K2 会为其分配唯一 ID,生产者和消费者使用该 ID 与其通信。生产者可以通过 HTTP 端点(带或不带身份验证)、Workers 绑定,或两者同时向流写入。
记录是写入流的数据。每条记录包含以下字段:
content:二进制消息,包含任意数据;在 HTTP API 中以 base64 编码headers:可选的字符串键到字符串值的映射,可用于描述 content 中的数据
标头适合在无需反序列化的情况下描述内容。标头的常见用途包括:
- 存储编码方式,以便读取者知道如何反序列化内容
- 表示用于路由或过滤事件的数据,在不必要时避免反序列化以提高效率
- 在透传管道中为内容添加注解,而无需修改底层数据
记录最大为 1 MB,计入 content 和 headers 的总和。
从 K2 读取通过 subscriptions(订阅)完成。每个订阅会接收流中的所有消息,多个消费者可以共享同一个订阅。
这使 K2 能够支持两种投递策略:读取可以在一组消费者之间共享(每个消费者获得消息的子集),或独立投递给所有消费者(每个消费者获得全部消息)。这些策略也可以混合使用,即多组消费者各自获得消息的子集。
创建订阅时会指定日志中的初始位置:earliest 会接收流中所有仍保留(未按 TTL 删除)的数据,latest 会接收自订阅创建起的所有事件。
创建订阅后,客户端可以通过向该订阅的 /consume 端点发送 POST 来消费。这会返回该客户端应处理的消息列表。这些消息会在一段时间内 leased(租给)该客户端——即 lease period(租约期),为 5 分钟。客户端应在租约到期前对这些消息执行 ack(确认),告知订阅已成功消费,或执行 nack(否定确认)以表示处理失败。被 nack 或超时租约所拥有的事件,会在后续 consume 调用中重新投递。