跳转到内容
本站为社区维护的非官方中文翻译,与 Cloudflare, Inc. 无关联。本站不提供账户登录,请勿在任何非官方站点输入您的 Cloudflare 账户信息。官方文档:developers.cloudflare.com

嵌入式设备与远程控制

最后更新 查看 MarkdownAgent 设置

使用 Realtime SFU 将嵌入式硬件连接到浏览器监听端。Pocket Radio 展示了固件如何通过 WebRTC 连接、发布音频和遥测,并接收来自浏览器的已授权控制命令。

Pocket Radio 运行在 ESP32-S3 上。它从 flash 读取播放列表,发布 Opus 音频,并向浏览器发送频谱数据和设备状态。一名监听者可以控制播放和开发板上的 LED。

该示例为实验性内容,面向文档中的开发板和工具链。它未实现麦克风采集、设备扬声器输出、摄像头或完整的机器人栈。

带浏览器播放、频谱、设备遥测和控制者控件的 Pocket Radio。

打开示例

阅读固件演练

工作原理

固件和每个浏览器各自维护独立的 WebRTC peer。Worker 持有 SFU 凭据并处理信令。Durable Object 跟踪设备、监听者、控制权租约和清理。

使用 Realtime SFU 的嵌入式 WebRTC
设备固件ESP32-S3 + Rust / str0m一个对等连接和 UDP socketOpus 源和应用通道
CloudflareRealtime SFU每个端点一个会话音频和 DataChannels
浏览器监听者每个标签页一个对等连接播放音频并显示数据一个经过授权的控制器
HTTPS 信令
offer、answer、ID、存活状态
SFU HTTPS API
会话、轨道、通道
HTTPS 信令
加入、SDP、控制租约
受信任的应用后端(本示例)
Worker设备/查看者身份验证SFU 凭据
RPC
RobotRoom Durable Object会话状态和发现控制器租约和清理
设备固件Opus 音频、机器人和频谱 →Realtime SFU
Realtime SFU命令 →设备固件
Realtime SFU音频和数据 →浏览器监听者
浏览器监听者机器人回复,仅限控制器 →Realtime SFU
设备固件HTTPS 信令 ↔Worker
浏览器监听者HTTPS 信令 ↔Worker
WorkerRPC →RobotRoom Durable Object
RobotRoom Durable ObjectSFU HTTPS API →Realtime SFU

该示例使用这些路径:

路径 用途
设备音频轨道到浏览器监听者 发布预编码 Opus 音频供播放
可靠、有序的 robot DataChannel 发送遥测、元数据、命令和命令确认
无序且零次重传的 spectrum DataChannel 发送可替换的频谱样本
robot 上的控制者回复 使用 canReply 将已授权的浏览器命令返回给设备
设备与浏览器到后端的信令 认证、分配 SFU 资源、交换 Session Description Protocol (SDP) 的 offer 和 answer,并管理应用状态

SFU App Secret 保留在 Worker 上。固件会收到设备凭据、Wi-Fi 配置和信令源。本示例使用 Worker 作为后端。其他应用服务器也可以使用相同的 SFU 接口。

跟随固件集成

固件/SFU 演练 ↗说明了协议顺序,并标出每一步对应的代码:

  1. 创建并配置固件的 WebRTC peer。
  2. 通过应用后端交换会话描述。
  3. 发布音频轨道并建立协商后的 DataChannels。
  4. 连接浏览器监听者,并确认 DataChannel 就绪。
  5. 授予控制者回复权限并处理设备命令。
  6. 保留资源标识符以便拆除和重试。

为 WebRTC peer 及其 SDP 状态保留单一所有者。按你的设备改造硬件 I/O 和媒体时序。你可以用另一种应用协议(例如 Constrained Application Protocol (CoAP))替换设备到后端的 HTTPS 信令。后端仍必须通过 HTTPS 调用 SFU。

运行 Pocket Radio

该示例面向 ESP32-S3-DevKitC-1 N32R16V,配备 32 MiB flash、16 MiB PSRAM 以及文档中的 LED 引脚。构建需要 Linux x86_64 工具链、Node.js 24、Python、Rust 和 ESP-IDF。开发板需要出站 IPv4 UDP 和 HTTPS。精确的工具版本和硬件要求见完整前提条件 ↗。

  1. 准备检出。 运行:

    git clone https://github.com/cloudflare/realtime-examples.git
    cd realtime-examples/esp32-radio
    make setup
    cp .credential.env.example .credential.env
  2. 配置并部署后端。 创建一个 SFU 应用。按示例的设置流程 ↗预置凭据、配置主机名和账户,并部署 Worker。请将 .credential.env 保密。

  3. 准备设备。 遵循 Back up and flash ↗。仅使用你有权分发的音频。替换软件前先备份开发板。烧录会重置设备。

  4. 收听并控制。 打开 Worker URL,用已配置的观众密码登录,然后选择 Start listening。再打开另一个监听标签页。两个标签页都应收到音频、频谱和遥测。

    在一个标签页中选择 Take control,然后更改 LED 或暂停播放。另一个标签页继续收听。在把控制权转给另一名监听者之前,选择 Release control。

重连与清理

开发板重启或终端连接失败后,浏览器需手动重新加入。开发板在线时,再次选择 Start listening。该示例使用共享观众密码做应用认证。若部署面向不同用户,按用户身份和滥用控制仍属于集成工作。

该示例允许每块开发板 8 名监听者和 1 名控制者。8 名监听者上限由应用设置,并不定义 SFU 订阅者上限。

要停止时,先释放控制权并断开监听者,再关闭开发板电源。在所需清理完成前,保持后端可用。示例的运维指南 ↗说明了在移除 Worker 或 SFU 应用之前的发布端替换、状态过期和资源清理。

适配其他设备

对于共享摄像头或显微镜监视器,保留观察者与控制者模型,然后添加摄像头采集、受支持的视频编码和浏览器视频播放。使用能够提供该视频的硬件或网关。

对于传感器仪表板,用你的测量值替换频谱样本。添加传感器采集、单位、时间戳,以及对过期读数的处理。

将该模式适配到机器人

用这些替换把观察者/操作者模型应用到机器人网关:

Radio 组件 机器人适配
播放列表音频源 摄像头、麦克风或其他受支持的媒体源
设备遥测和频谱样本 传感器状态、诊断信息和可替换测量值
播放和 LED 命令 发往机器人本地控制接口的已校验命令
监听者成员和控制权租约 所选机器人的观察者和操作者角色
固件平台层 机器人的硬件或 Robot Operating System (ROS) 集成

分别实现摄像头采集、ROS 集成和执行器行为。在该集成中包含命令过期、过期命令拒绝,以及本地看门狗或停止行为。紧急停止和执行器限制应放在设备或其本地控制器上。

若需带原生视频发布端的相关实现,云游戏示例为可靠输入和瞬时输入使用了独立通道。

查看实现

查看架构指南 ↗以了解认证、控制权归属和重连行为。

尝试另一个示例

若要做更小的仅浏览器练习,请运行 DataChannel 示例。

这篇文档对您有帮助吗?