Simulcast 让发布端发送同一视频源的多种编码。订阅者可以根据显示和网络条件选择不同质量级别。
发布端可以把一个视频源编码为多种质量。每种编码都有 RTP Stream Identifier (RID),例如 f、h 或 q,并在其会话描述中通告。
发布端通告其编码。每个订阅者通过远程轨道请求上的 simulcast 对象选择一层。每次订阅都有自己的配置。
你的后端发起 SFU API 请求。把 App Secret 保留在后端,检查逐轨道结果,并在这些任务中始终遵循按会话的变更排序。
在创建 offer 之前配置发布端。其 SDP 通告 simulcast 编码;SFU 用这些属性处理本地发布。例如,SDP 包含:
a=simulcast:send f;h;q
a=rid:f send
a=rid:h send
a=rid:q send在浏览器中,用此 addTransceiver() 调用替换发布音频或视频中的调用。这里的 track 是视频 MediaStreamTrack,peerConnection 是发布连接:
const transceiver = peerConnection.addTransceiver(track, {
direction: "sendonly",
sendEncodings: [
{ scaleResolutionDownBy: 1, rid: "f" },
{ scaleResolutionDownBy: 2, rid: "h" },
{ scaleResolutionDownBy: 4, rid: "q" },
],
});从创建 offer 开始,在同一个 PeerConnection 及其 SFU 会话上继续发布配方。生成的 SDP 包含 a=simulcast:send。发布成功后,把发布者的会话 ID、轨道名称和可用 RID 分享给已授权订阅者。
从已通告 simulcast 编码的现有发布开始。通过你的应用获取其发布者会话 ID、轨道名称和可用 RID。使用接收已发布轨道准备接收 PeerConnection 及其自己的 SFU 会话,但先不要请求该轨道。
-
在后端调用
POST /apps/{appId}/sessions/{sessionId}/tracks/new。URL 标识接收会话。请求体标识发布者会话和发布内容:{ "tracks": [ { "location": "remote", "sessionId": "<PUBLISHER_SESSION_ID>", "trackName": "camera", "simulcast": { "preferredRid": "f", "priorityOrdering": "asciibetical", "ridNotAvailable": "asciibetical" } } ] }本示例优先选择
f,并通过h和q启用按字母顺序回退。使用发布端通告的 RID,并为你的应用选择图层策略。 -
检查轨道结果,并保留其接收
mid以标识此订阅。在接收端,完成返回的 SFU offer。确认该发布在那里可以播放。
要更改现有订阅,通过后端的 PUT /apps/{appId}/sessions/{sessionId}/tracks/update 更新 preferredRid。URL 标识接收会话。在请求中使用该订阅的接收 mid,并选择发布端通告的 RID。
在推进应用状态前检查轨道结果。完整更新体见 OpenAPI schema。
simulcast 对象选择图层及其回退策略:
preferredRid:首选编码的 RID,由发布端指定 ↗。priorityOrdering:控制 SFU 如何处理带宽约束。none:即使带宽不足,也继续发送preferredRid所选图层。asciibetical:用字母顺序(a到z)确定优先级。a最优先,z最不优先。
ridNotAvailable:当首选 RID 不可用时(例如发布端停止发送它)如何处理。none:不选择替代图层。asciibetical:按字母优先级顺序切换到下一个可用 RID。
priorityOrdering 和 ridNotAvailable 默认都是 none。该默认值都不会自动选择替代图层。使用 asciibetical 时,按你期望的优先级顺序分配 RID,例如从最高分辨率到最低。
视频房间示例演示了你可以扩展为 simulcast 的发布和订阅生命周期。添加视频编码时使用本页的发布端配置。
simulcast echo 示例 ↗是旧版参考。它把 SFU 令牌放在浏览器代码中,不推荐作为应用起点。改造该示例时,把 SFU API 调用保留在后端。