跳转到内容
本站为社区维护的非官方中文翻译,与 Cloudflare, Inc. 无关联。本站不提供账户登录,请勿在任何非官方站点输入您的 Cloudflare 账户信息。官方文档:developers.cloudflare.com

Simulcast

最后更新 查看 MarkdownAgent 设置

Simulcast 让发布端发送同一视频源的多种编码。订阅者可以根据显示和网络条件选择不同质量级别。

发布者
低质量
中等质量
高质量
CloudflareRealtime SFU
低质量
订阅者
中等质量
订阅者
高质量
订阅者
发布者低质量Realtime SFU低质量订阅者
发布者中等质量Realtime SFU中等质量订阅者
发布者高质量Realtime SFU高质量订阅者

工作原理

发布端可以把一个视频源编码为多种质量。每种编码都有 RTP Stream Identifier (RID),例如 f、h 或 q,并在其会话描述中通告。

发布端通告其编码。每个订阅者通过远程轨道请求上的 simulcast 对象选择一层。每次订阅都有自己的配置。

你的后端发起 SFU API 请求。把 App Secret 保留在后端,检查逐轨道结果,并在这些任务中始终遵循按会话的变更排序。

发布多种编码

在创建 offer 之前配置发布端。其 SDP 通告 simulcast 编码;SFU 用这些属性处理本地发布。例如,SDP 包含:

a=simulcast:send f;h;q
a=rid:f send
a=rid:h send
a=rid:q send

在浏览器中,用此 addTransceiver() 调用替换发布音频或视频中的调用。这里的 track 是视频 MediaStreamTrack,peerConnection 是发布连接:

const transceiver = peerConnection.addTransceiver(track, {
	direction: "sendonly",
	sendEncodings: [
		{ scaleResolutionDownBy: 1, rid: "f" },
		{ scaleResolutionDownBy: 2, rid: "h" },
		{ scaleResolutionDownBy: 4, rid: "q" },
	],
});

从创建 offer 开始,在同一个 PeerConnection 及其 SFU 会话上继续发布配方。生成的 SDP 包含 a=simulcast:send。发布成功后,把发布者的会话 ID、轨道名称和可用 RID 分享给已授权订阅者。

订阅 simulcast 轨道

从已通告 simulcast 编码的现有发布开始。通过你的应用获取其发布者会话 ID、轨道名称和可用 RID。使用接收已发布轨道准备接收 PeerConnection 及其自己的 SFU 会话,但先不要请求该轨道。

  1. 在后端调用 POST /apps/{appId}/sessions/{sessionId}/tracks/new。URL 标识接收会话。请求体标识发布者会话和发布内容:

    {
     "tracks": [
       {
         "location": "remote",
         "sessionId": "<PUBLISHER_SESSION_ID>",
         "trackName": "camera",
         "simulcast": {
           "preferredRid": "f",
           "priorityOrdering": "asciibetical",
           "ridNotAvailable": "asciibetical"
         }
       }
     ]
    }

    本示例优先选择 f,并通过 h 和 q 启用按字母顺序回退。使用发布端通告的 RID,并为你的应用选择图层策略。

  2. 检查轨道结果,并保留其接收 mid 以标识此订阅。在接收端,完成返回的 SFU offer。确认该发布在那里可以播放。

更改接收图层

要更改现有订阅,通过后端的 PUT /apps/{appId}/sessions/{sessionId}/tracks/update 更新 preferredRid。URL 标识接收会话。在请求中使用该订阅的接收 mid,并选择发布端通告的 RID。

在推进应用状态前检查轨道结果。完整更新体见 OpenAPI schema。

质量控制

simulcast 对象选择图层及其回退策略:

  • preferredRid:首选编码的 RID,由发布端指定 ↗。
  • priorityOrdering:控制 SFU 如何处理带宽约束。
    • none:即使带宽不足,也继续发送 preferredRid 所选图层。
    • asciibetical:用字母顺序(a 到 z)确定优先级。a 最优先,z 最不优先。
  • ridNotAvailable:当首选 RID 不可用时(例如发布端停止发送它)如何处理。
    • none:不选择替代图层。
    • asciibetical:按字母优先级顺序切换到下一个可用 RID。

priorityOrdering 和 ridNotAvailable 默认都是 none。该默认值都不会自动选择替代图层。使用 asciibetical 时,按你期望的优先级顺序分配 RID,例如从最高分辨率到最低。

通过示例学习

视频房间示例演示了你可以扩展为 simulcast 的发布和订阅生命周期。添加视频编码时使用本页的发布端配置。

simulcast echo 示例 ↗是旧版参考。它把 SFU 令牌放在浏览器代码中,不推荐作为应用起点。改造该示例时,把 SFU API 调用保留在后端。

这篇文档对您有帮助吗?