跳转到内容
本站为社区维护的非官方中文翻译,与 Cloudflare, Inc. 无关联。本站不提供账户登录,请勿在任何非官方站点输入您的 Cloudflare 账户信息。官方文档:developers.cloudflare.com

AI 音频流水线

最后更新 查看 MarkdownAgent 设置

使用 ai-tts-stt 示例将语音转文本和文本转语音服务连接到 WebRTC 音频。发布者可以为浏览器监听者生成语音,并发送麦克风音频以进行转录。

该应用使用 Workers AI、Worker、Durable Objects 以及 Realtime SFU 的 WebSocket 适配器。浏览器使用 WebRTC 进行音频,并使用应用 WebSocket 获取转录结果。

打开示例

该示例是实验性的。它将 SFU 和 AI 凭据保留在服务器上,但其发布者和清理操作未经身份验证。在公开共享部署之前,请添加应用身份验证、授权和资源控制。

跟踪音频

该应用为两个音频方向使用单独的适配器:

发布者文本
TTS Durable Object
CloudflareRealtime SFU
浏览器监听者
Workers AI 语音生成
浏览器麦克风
CloudflareRealtime SFU
STT Durable Object
浏览器转录文本
Workers AI 转录
发布者文本→TTS Durable Object
TTS Durable Object↔Workers AI 语音生成
TTS Durable Object通过 WebSocket 传输 PCM →Realtime SFU
Realtime SFUWebRTC 音频 →浏览器监听者
浏览器麦克风WebRTC 音频 →Realtime SFU
Realtime SFU通过 WebSocket 传输 PCM →STT Durable Object
STT Durable Object↔Workers AI 转录
STT Durable Object转录 WebSocket →浏览器转录文本

TTSAdapter 和 STTAdapter 是应用 Durable Objects。它们调用 Workers AI、管理应用状态,并将音频转换为 SFU 适配器的 48 kHz 立体声 PCM 格式,或从该格式转换。

SFU 为两个音频方向使用单独的 WebSocket ingest 和 egress 适配器。转录使用单独的应用 WebSocket。请参阅 WebSocket 媒体格式。

要求

使用具有 Workers、Durable Objects、Workers AI 访问权限以及 Realtime SFU 应用 的 Cloudflare 账户。该示例还需要 Node.js 以及该账户的 Workers AI API 令牌。使用 Workers AI 令牌模板,或授予 Workers AI - Read 和 Workers AI - Edit 权限。

部署 Worker 以进行端到端音频。SFU 需要可公开访问的 WebSocket 端点;本地开发适用于浏览器 UI 更改。

运行示例

  1. 准备检出。 运行:

    git clone https://github.com/cloudflare/realtime-examples.git
    cd realtime-examples/ai-tts-stt
    npm install
  2. 配置应用。 在已检入的 Wrangler 配置中,将 CF_ACCOUNT 和 REALTIME_SFU_APP_ID 设置为你的账户和 SFU 应用标识符。按照配置指南 ↗进行模型和音频处理配置。

    通过 Wrangler 的交互式提示添加后端 secrets:

    npx wrangler secret put CF_API_TOKEN
    npx wrangler secret put REALTIME_SFU_BEARER_TOKEN
  3. 构建并部署。 构建浏览器资源,然后部署 Worker:

    npm run build:web
    npx wrangler deploy
  4. 连接发布者和监听者。 选择一个应用会话名称,例如 audio-demo。这是你选择的名称,与 SFU 生成的会话 ID 分开。

    打开 https://<WORKER_HOSTNAME>/audio-demo/publisher 并选择 Publish Session。在另一个标签页中,打开 https://<WORKER_HOSTNAME>/audio-demo/player。选择 Connect 并等待连接。两个 URL 中使用相同的应用名称。

  5. 生成语音。 在发布者标签页中,输入文本并选择 Generate Speech。确认监听者播放生成的音频。

  6. 转录语音。 在发布者标签页中,选择 STT 选项卡,然后选择 Start Mic,并允许麦克风访问。等待 WebRTC 连接变为已连接,然后选择 Start Forwarding。说话并观察返回的转录。

该示例的部署和使用指南 ↗详细描述了控件和 URL 模式。

停止和清理

要停止示例流程,请根据情况选择 Stop Forwarding、Stop Mic 和 Unpublish。在删除后端或公开管理操作之前,请查看示例的 Stop the Session and Debug Cleanup instructions ↗。资源所有权和故障恢复需要针对你的集成进行验证。

适配示例

对于口语辅导,将最终转录连接到你的对话逻辑,并将其响应发送到 TTS。为这些操作添加轮次控制、中断处理、对话状态和授权。在适配应用时,将 SFU 和 AI 凭据保留在 Worker 上。

检查实现

按照 TTS 实现指南 ↗了解语音生成、转换和发布。STT 实现指南 ↗涵盖麦克风转发和转录交付。

故障排除

使用适配器故障排除诊断端点和媒体格式失败。

尝试另一个示例

对于视频处理,WebRTC-to-JPEG 示例 ↗演示了将 SFU 视频轨道以 JPEG 帧形式交付给 Worker。

这篇文档对您有帮助吗?