使用 ai-tts-stt 示例将语音转文本和文本转语音服务连接到 WebRTC 音频。发布者可以为浏览器监听者生成语音,并发送麦克风音频以进行转录。
该应用使用 Workers AI、Worker、Durable Objects 以及 Realtime SFU 的 WebSocket 适配器。浏览器使用 WebRTC 进行音频,并使用应用 WebSocket 获取转录结果。
打开示例
该示例是实验性的。它将 SFU 和 AI 凭据保留在服务器上,但其发布者和清理操作未经身份验证。在公开共享部署之前,请添加应用身份验证、授权和资源控制。
该应用为两个音频方向使用单独的适配器:
TTSAdapter 和 STTAdapter 是应用 Durable Objects。它们调用 Workers AI、管理应用状态,并将音频转换为 SFU 适配器的 48 kHz 立体声 PCM 格式,或从该格式转换。
SFU 为两个音频方向使用单独的 WebSocket ingest 和 egress 适配器。转录使用单独的应用 WebSocket。请参阅 WebSocket 媒体格式。
使用具有 Workers、Durable Objects、Workers AI 访问权限以及 Realtime SFU 应用 的 Cloudflare 账户。该示例还需要 Node.js 以及该账户的 Workers AI API 令牌。使用 Workers AI 令牌模板,或授予 Workers AI - Read 和 Workers AI - Edit 权限。
部署 Worker 以进行端到端音频。SFU 需要可公开访问的 WebSocket 端点;本地开发适用于浏览器 UI 更改。
-
准备检出。 运行:
git clone https://github.com/cloudflare/realtime-examples.git cd realtime-examples/ai-tts-sttnpm installyarn installpnpm installbun install -
配置应用。 在已检入的 Wrangler 配置中,将
CF_ACCOUNT和REALTIME_SFU_APP_ID设置为你的账户和 SFU 应用标识符。按照配置指南 ↗进行模型和音频处理配置。通过 Wrangler 的交互式提示添加后端 secrets:
npx wrangler secret put CF_API_TOKENyarn wrangler secret put CF_API_TOKENpnpm wrangler secret put CF_API_TOKENnpx wrangler secret put REALTIME_SFU_BEARER_TOKENyarn wrangler secret put REALTIME_SFU_BEARER_TOKENpnpm wrangler secret put REALTIME_SFU_BEARER_TOKEN -
构建并部署。 构建浏览器资源,然后部署 Worker:
npm run build:webyarn run build:webpnpm run build:webnpx wrangler deployyarn wrangler deploypnpm wrangler deploy -
连接发布者和监听者。 选择一个应用会话名称,例如
audio-demo。这是你选择的名称,与 SFU 生成的会话 ID 分开。打开
https://<WORKER_HOSTNAME>/audio-demo/publisher并选择 Publish Session。在另一个标签页中,打开https://<WORKER_HOSTNAME>/audio-demo/player。选择 Connect 并等待连接。两个 URL 中使用相同的应用名称。 -
生成语音。 在发布者标签页中,输入文本并选择 Generate Speech。确认监听者播放生成的音频。
-
转录语音。 在发布者标签页中,选择 STT 选项卡,然后选择 Start Mic,并允许麦克风访问。等待 WebRTC 连接变为已连接,然后选择 Start Forwarding。说话并观察返回的转录。
该示例的部署和使用指南 ↗详细描述了控件和 URL 模式。
要停止示例流程,请根据情况选择 Stop Forwarding、Stop Mic 和 Unpublish。在删除后端或公开管理操作之前,请查看示例的 Stop the Session and Debug Cleanup instructions ↗。资源所有权和故障恢复需要针对你的集成进行验证。
对于口语辅导,将最终转录连接到你的对话逻辑,并将其响应发送到 TTS。为这些操作添加轮次控制、中断处理、对话状态和授权。在适配应用时,将 SFU 和 AI 凭据保留在 Worker 上。
按照 TTS 实现指南 ↗了解语音生成、转换和发布。STT 实现指南 ↗涵盖麦克风转发和转录交付。
使用适配器故障排除诊断端点和媒体格式失败。
对于视频处理,WebRTC-to-JPEG 示例 ↗演示了将 SFU 视频轨道以 JPEG 帧形式交付给 Worker。