OpenAI 的 WebRTC 问题为何仍在拖累语音 AI
OpenAI still has a WebRTC Problem
OpenAI 语音产品仍依赖为人类会议设计的 WebRTC,音频丢包默认不重传、抖动缓冲也不等待重传,导致用户语音上下文丢失、token 被浪费。作者主张改用 MoQ:音频 1 秒 Opus @ 64Kbps 仅 8KB,可重传最长 5 秒直到 LLM 真正需要该段音频,且 WebRTC 按到达时间而非时间戳渲染,同样不适合 TTS。
2026年10月27日 · kixelated
在之前的一期节目里,我痛骂了 OpenAI 使用 WebRTC,结果在 Hacker News 上火了。
谢谢
特别感谢 Sean DuBois 和 Justin Uberti(OpenAI 的 WebRTC 专家)在我那通失控的吐槽之后主动联系我。
你们本可以只说一句 @kixelated ur dumb,但你们没有。
唉,我这场受天命所托、讨伐 WebRTC 的圣战还没结束。 deus vult
热辣观点预警
假设你是一家前沿实验室的 vibe coder,正在做一个语音 AI 产品。
假设你正在烧掉(并挥霍)一笔天文数字的现金。
假设你的一个用户开口说道:what is le capital of France?
如果你的 AI 回复说:
抱歉,你那边断断续续的,能再说一遍吗?
你搞砸了。 你为语音 AI 选了 WebRTC。
潜藏于下的危险
你启动最爱的应用:ChatGPT™。你点开麦克风,咕哝道:
法国的首都是什么?
哦不,假设突然发生了丢包。 一只海怪啃了一口海底光缆。 唉,这太常见了。
WebRTC 是为电话会议设计的,也就是为真实的人类和真实的声音设计的。 它极其激进,会丢弃任何迟到的音频包,以保持延迟实时。 就像莱昂纳多·迪卡普里奥一样,超过 30ms 就算太老了。
已说出 / 已理解
已收到,尚未理解
永久丢失
这对一个语音 AI 产品来说挺糟糕的。 你走出 wifi 覆盖范围,进入蜂窝信号盲区,或者星链终端切换卫星。 糟糕,你的 token 白费了,更糟的是,AI 会试图猜测你说了什么。
WebRTC 通常能检测到丢包并重传。 但音频的重传默认是关闭的。 即便开启,音频抖动缓冲区也不会等它们。
但为什么不呢? 这不就是网络基础常识吗? 把那玩意儿再发一遍不就完了?
这是因为我们。
你的速度
我们这些血肉之躯以“实时”消费/产生音频,也就是人类时钟频率。 我们的神经元只能以那么快的速度放电。
对于像 Google Meet 这样的实时会议产品,延迟需要接近零。 任何延迟都极其烦人,这就是 WebRTC 竭尽全力将其最小化的原因。
阻塞等待重传会造成延迟。 这是 TCP 的致命缺陷,也是 WebRTC 一开始就基于 UDP 的原因。 更糟的是,重传会在恢复时造成音频的突然爆发。
这是糟糕的用户体验。 人类不想先等待,然后以 10 倍速处理一段音频爆发。 WebRTC 转而主要*依赖人类重传。
你:法国……是什么?
我:
你:我说,法国的首都是什么?
* 在 WebRTC 卫道士在 LinkedIn 上喷我之前,先读读 fix it fix it fix it 那一节。
我们注定要平庸吗?
焊接男孩,看钟
当然不是。 醒醒吧老头子,现在不是 2020 年了。 互联网不再是为我们松垮的嘴唇准备的了。
我们的机器人霸主以硅时钟频率产生/消费音频。 我们把电塞进一块石头里,现在它几分钟就能读完一座图书馆。 生在这个时代真好。
语音智能体听和说音频的速度可以快于实时。
以 20 倍速聆听?没问题。
以 20 倍速说话?没问题。
人类被卡在实时里。
我们说话太慢,所以语音转文字只能等我们。
我们听东西太慢,所以文字转语音只能等我们。
WebRTC 是为人类设计的,不是为语音 AI 智能体设计的。 这些可怜的机器人被我们的平庸拖了后腿。
我需要上下文
说到 LLM,延迟预算会变得很怪。
通常你会把延迟想成一个小兵穿过铁皮罐头所需的时间。 然而,LLM 会阻塞在上下文上。
这里有个上下文随时间增长的笨例子:
- 1s:What
- 2s:What is
- 3s:What is le
- 4s:What is le capital
- 5s:What is le capital of
- 6s:What is le capital of France?
如果 LLM 在拿到完整上下文之前就试图回答我的提示词,那结果会很糟。 France 是守门人,它之前的一切实际上都是前提条件。 在这个例子里,真正重要的是最后一个数据包的延迟。
那些被海妖攻击的可怜数据包呢? WebRTC 实际上有好几秒的时间来重传,而且没有延迟惩罚。 AI 智能体可以比实时更快地处理来追赶进度,而最终用户(也就是你)完全察觉不到。
这就是 MoQ 先生做的事。 一个数据包都不落下:我们持续重传,直到 AI 真正需要这段音频。
已说出 / 已理解
已收到,尚未理解
等待重传
这也不贵:音频很小。 1 秒的 Opus @ 64Kbps 是 8KB,最初作为 50 个小数据包发送,但可以重传为约 6 个 QUIC 数据包。 我们有实打实的几秒钟来重传6 个数据包,从而避免任何用户影响。
如果我们能完成这项艰巨任务:所有上下文都会及时到达!
模型不再需要猜测。 它也不再需要在静音或失真上训练。 这是纯粹的用户体验胜利。
不只是麦克风
你猜怎么着? WebRTC 不仅对 STT 很糟,对 TTS 也很糟。
有趣的事实:WebRTC 渲染音频(和视频)的依据是它何时到达,而不是它应该何时被渲染。 其他所有协议都使用时间戳,但 WebRTC 先生几乎不看它们,因为准确性根本不是目标。 当然,它会把音频和视频微调几毫秒来同步,但你要是想在音频之后 500ms 再发送视频,那就祝你好运了。
这对语音 AI 来说是个巨大的问题。 TTS 的生成速度快于实时,会给每个数据包打上未来的时间戳。 但为了用 WebRTC 在正确的时间播放音频……智能体需要在发送每个数据包之前先睡一觉。
而且如果有任何丢包,我们的 TTS 就丢了,永远不会重传,token 白烧了,等等等等。
已发送 / 已播放
已生成 / 已缓冲
永久丢失
要是能有某种方式指示每个音频数据包何时渲染就好了。 某种戳记。
随机存取存储器
欢迎回到未来,Marty。 我们现在比实时还快。
RAM 有个了不起的特性:贵得离谱。 而且能在本地存储东西。 你知道的,比如需要通过扬声器播放的音频。
我们给每个音频帧打上时间戳,用它来决定何时从 RAM 中播放出来。 我知道,这很荒谬。
已发送 / 已播放
已生成 / 已缓冲
等待重传
这就是 Youtubes 即使在你失去网络连接时也能继续播放视频的原因。 MoQ 对语音 AI 做同样的事情。 你那绝妙的烘焙食谱不会受到意外拥塞的影响。
别担心,2 分钟的音频只有 1MB。 你不需要为了再买一根内存条而去贷款。
免责声明:此行为并未经过 IETF 标准化。 只有我的 moq.dev 客户端(因此也包括 Pipecat)支持它。 如果你想和 Cisco 争论并把它纳入官方标准,请自便。
反派登场
那为什么 OpenAI 在使用 WebRTC?
WebRTC 是实时对话音频的最先进技术。
它通过 libwebrtc 在每一个浏览器中可用,这是一个由 Google 维护的 C++ 单体项目。
它如此复杂和精密,以至于 Safari 和 Firefox 也使用 libwebrtc,而不是像其他一切那样凭感觉自己写代码。
问题在于 WebRTC 就是 Google Meet 客户端。 它是专门为 Google 的会议产品设计的,而不是他们的语音 AI 产品(他们用的是 WebSocket),当然也不是你的产品。
说实话,这招反竞争手段相当高明。 Google 可以在不咨询其他浏览器厂商的情况下发布产品更新。 在 Web 上,没有其他会议应用能做到这一点。
有趣的事实:这就是为什么其他所有会议应用都推荐使用原生客户端。 否则,它们最多只能与 Google Meet 持平。 原生应用则可以通过 UDP 为所欲为。
修好它 修好它 修好它
所以这就是为什么你那投入了数十亿资金的超豪华 ChatGPT™ 语音 AI 模型,竟然有胆量问: 你能再说一遍吗?
我可以吐槽 WebRTC 好几天,但这次我想积极一点。 以下是修复方法。
首先,我需要承认 WebRTC 确实拥有的东西:
- NetEQ 很棒。它根据抖动改变音频播放速度。但不处理丢包。
- 现在可以通过 SDP 篡改(真恶心)来启用音频重传。但 NetEQ 抖动缓冲区不会等待它们。
- playout-delay RTP 扩展非常适合语音 AI。但它仅适用于视频。
要修复 WebRTC,我们需要向 Google 请愿:
- 为音频实现 playout-delay。
- 允许抖动缓冲区增长,既包括过去也包括未来(用于 TTS)。
- 基于时间戳而非凭感觉来渲染音频。
- 不知道,某种 RTP 扩展来提升轨道生成(用于打断)。
当然,还要请愿更广泛的 WebRTC 生态系统也这样做。
被把守
WebRTC 的主要问题仍将存在:Google 是守门人。
你的 Claude 朋友不能直接 fork libwebrtc 来修复这些问题。
Web 支持需要 Google,至少得等到 Theo 花 42 万美元用 Rust 重写 Chromium。
我觉得 playout-delay 在10 年前就被合并了,而音频至今还没有它,这太不可思议了。 更高延迟/更高质量的播放从来都不是 WebRTC 的优先事项,因为Google Meet 是唯一重要的产品。
趣闻:这就是我最终创建 MoQ 的原因。 我们在 Twitch 尝试过使用 WebRTC,但“要么实时要么免谈”的做法导致了糟糕的用户体验。 我只是一个谦逊的软件工程师,尽管努力尝试,我们还是没能成功向 Google 请愿。
但 OpenAI 有足够的影响力来修复 WebRTC。 一项早就该做的改进是 WARP(不是那个 WARP),它紧跟着我上一篇博客文章出现。 Justin 继续加油,或者和我一起加入黑暗面。
主角登场
以我谦逊而英俊的看法,是时候投资一个更好的传输协议了。 从 B 和 T 里拿几个 M 出来;没人会注意到的。
语音代理绝不应该要求用户重新传输提示词。
语音代理应该改为要求传输层重新传输提示词。
剧透预警:顺便说一句,Media over QUIC 就是那个更好的传输协议。
Pipecat 现在支持 MoQ 了! 非常感谢 Vanessa 和 Claude Code 付出的努力,以及忍受我不断的“改进”。
这是一个粗糙的演示,还附上了我的信用卡信息。 求别把我榨干。
注意我只花了大概一天的时间来工作写提示词。
写这篇该死的博客文章花了我长得多的时间。
请别太苛刻地评判。
而且是的,它有时会说“你能再说一遍吗?”,这讽刺得好笑。 第一跳/最后一跳是 MoQ,但管道其余部分我控制不了。 如果 Deepgram、OpenAI 或 Cartesia 丢了你的数据包,那我也无能为力。
打断
我们还没完。 我本想在这篇博客中间推销 MoQ,然后用剩下的部分……
有时 AI 在独白,你需要让它闭嘴。 用 WebRTC 做这件事很容易,因为每个数据包发送前都有休眠。 但用 MoQ,我们需要某种信号来告诉播放器放弃播放缓冲区。
这是没有信号时的朴素做法:
已发送 / 已播放
已生成 / 已缓冲
我的解决方案狡猾地巧妙。 太巧妙了。
对于 MoQ,我们优先考虑了动态添加/移除轨道的能力。 大多数媒体协议都有固定轨道,这非常烦人:HLS、DASH、RTMP、WebRTC 等等。 直播开始后,你无法添加 1080p 或切换编解码器。
我超级聪明的想法是复用这个功能来实现打断。 只需新建一条音频轨道(并移除旧的),作为 STFU Signal™。
已发送 / 已播放
已生成 / 已缓冲
已丢弃
这在通用 MoQ 播放器上有效。 我们会自动切换轨道,利用时间戳保持同步。
简单
屁股对屁股
嘿,笨蛋,你的博客文章错了。你没提到语音到语音?
看,达克效应是上一篇博客文章存在的唯一原因。 直到评论区我才知道语音到语音的存在。 我只能说不客气。
免责声明:我仍然没有对语音AI的现状做任何研究。
我完全允许你发推@kixelated ur stupid。
语音到语音背后的理念是去掉文本中间人。 原本分离的STT -> LLM -> TTS流水线被揉合在一起,在保留口头语境的同时降低延迟。 OpenAI是该领域的先驱,他们值得大力赞扬。
所以这证明了WebRTC的正确性? 语音到语音的延迟可以低到足以证明丢包的合理性?
别急,文学稻草人。 延迟和质量之间存在根本性的权衡。
延迟预算
你花在某个任务上的时间越多,结果就越好。
好事需要时间,比如Fable在README.md中改一行代码,因为我太穷了,付不起3.5倍的价格用超快模式。
网络也是如此。 你花在传输某样东西上的时间越多,质量就越好。 这就是重传存在的根本原因。
除非你在做广播电视,它仍然使用MPEG-TS,仍然导致故障频出。 说真的,你们搞什么,电视不再通过无线传输了,我们也不再需要188字节的数据包了。
总之,用户愿意为某件事等待的时间是一个产品决策。 穿上你的大男孩裤子,是时候当产品经理了。 用户想要快速但有损的东西,还是慢速但可靠的东西?
为什么不能两者兼得?
这就是语音到语音背后的理念。 对简单提示和生成填充噪声进行低延迟STS处理。
人类:法国的首都是哪里?
ChatGPT:等一下,我查一下。
砰,即使是那个无用的“我在思考”回应,也能让人类感觉良好。 但对我们反产品经理来说更重要的是,它为我们争取了足够的时间来启动较慢的处理。
我不在前沿实验室工作,所以这全是猜测,但我猜STT->LLM->TTS仍然用于这些较慢的处理。 具有Astra/Fable质量的STS模型绝对是理想选择……但可能不值得投资。
不管怎样,是STS还是STT->LLM->TTS都无所谓。 唯一重要的是延迟预算。
MoQ两者兼顾
我们试图用MoQ解决的核心问题之一,是行业中“每种延迟一种传输”的问题。 根据延迟预算使用不同协议是令人捂脸的常见现象。
例如,全员演示中演讲者使用Zoom,而其他人通过HLS观看且无法参与。
去他的,MoQ支持单个连接下的多个延迟目标。 在语音AI的情况下:
- 实时延迟用于快速回复(STS)。
- 无损质量用于慢速回复(STT->LLM->TTS)。
如何实现? 每个MoQ订阅都包含订阅者愿意等待多长时间。
你的实时模型最大延迟可以是500毫秒,而更准确的模型最大延迟可能是5秒。 两者被合并成一个单一上游订阅,可以进行扇出。
已说出 / 已理解
已收到,尚未理解
等待重传
永久丢失
请注意这是最大延迟。 除了在网络状况极差时,延迟都是 0,而且最终我们会放弃。 这就是 MoQ 与 TCP/WebSocket 在语音 AI 场景下的核心区别。
你的传输延迟应与产品的延迟预算相匹配。
很简单:预测未来
再来一个稻草人,把它踩进泥里。
嘿,蠢货,你的博客文章写错了。WebRTC 不在乎丢包,因为它使用了 FEC。
兄弟,去读读我之前的博客文章:永远不要使用数据报 和 前向纠错。 这大概是我那个更蠢的暴论。
WebRTC(以及 Opus)包含前向纠错,用于掩盖丢包。 其思路是把上一音频帧的一个质量更差、比特率更低的副本塞进下一个数据包。
但只包含最后一个数据包。 它甚至无法处理连续两个丢包,更不用说整个网络中断了。
这对 WebRTC 来说没问题,因为它根本不在乎超过 30ms 的音频。 但对语音 AI 或互联网上的任何东西来说都不行。 拥塞导致的丢包是突发性的,而非随机的。
一个常见的“修复”方法是将这些副本分散到时间上,这样你就能处理连续 X 个丢包。 参见 Opus 1.5。 所有这些额外数据都有实际成本,如果你不知道自己在做什么(而你确实不知道),那么你就会加剧缓冲区膨胀。
依我浅薄(且迷人)的看法,FEC 最适合巨大的 RTT,比如向月球传输。
在 <current year> 中,我们改用 CDN 来缩小有损的第一/最后一英里,这使得重传变得超强。
为什么要在 400ms 内分散发送更多字节,而不是在 40ms 内重传呢?
但如果某个 WebRTC 战士坚持,QUIC 库可以随意重传流数据。 基本上就是 RED,但基于字节偏移而非数据包,并且对接收方完全透明。 顺便说一句,这是个免费点子。
更多免费点子
我本该在这里结束博客文章,但说真的,我已经写了 3 周了,需要把这玩意儿在公司内部转发出去。 在你的内部 Slack 上截个图。
嘿,OpenAI。 很抱歉我喷你们代表了语音 AI 的最先进水平。 我们可能一开始就搞砸了。
嘿,Anthropic。 很抱歉我称你们为橙色屁眼公司。 我们可能一开始就搞砸了。
我会补偿你们俩的。
这里有一些免费点子,你们可以用无限的 Fable/Astro 7 token 来原型验证。
只要在 git 提交里给我 Co-Authored-By 署名就行。
或者 Scion,我不在乎。
求求了,我需要我的 Github 上有更多绿色方块。
解耦计算
我知道你们有巨额资本,但把 GPU 部署到世界上每个用户旁边很难。 但把便宜的 DELL 服务器部署到世界上每个用户旁边很容易。
- 在 CDN 边缘运行
moq-relay。 - 在有 GPU 的地方运行模型。
就像我之前说的,这基本上就是 CDN 的前提。 大量靠近用户的边缘节点可以最小化拥塞的第一/最后一英里。 过度配置骨干网,这样你就能无拥塞地将流量送到 GPU。
你可以独立扩展网络和计算。
我希望你们已经这样做了,并且规模足够大,足以证明有必要采用自定义的 Voice AI 协议,而不是使用标准化的 MoQ 实现。
对于其他人来说,MoQ 足够通用,可以服务于不止 Voice AI。 把 MoQ 想象成实时 HTTP。 毕竟它是一个IETF 标准,而 IETF 正是制定 HTTP 的那个组织。
事实上,我的第一个大客户正在使用 moq.pro 大规模分发 JSON 数据块。 它实际上是一个伪装成音视频协议的通用发布/订阅协议。
优先考虑上下文
我是个搞传输和想法的人,不是 AI 科学家。 如果这显而易见和/或不可能,别喷我。
WebRTC+AI 的核心问题在于模型和传输之间存在脱节。 这篇博客关注的是对齐延迟……但对齐上下文呢?
毕竟,并非所有 token 的权重都相同。 如果我们知道每个 token 的相对重要性,就可以利用这一点做出明智的网络决策。
高优先级:what capital france
低优先级:is le
零优先级:<silence>
要通过 MoQ 实现这一点,你需要将音频轨道拆分为独立编码的多个轨道。 高优先级轨道会优先获得可用带宽,订阅者会为它等待更长时间。
但说实话,难的是真正在乎这件事。 音频比特率太低了,你很少有机会做优先级处理,而且做客户端分词器的麻烦不值得。 不过对视频来说也许有意义。
回填那个 Boye
在 30ms 后丢弃音频的另一个问题是,这是一扇单向门。
大胆预测:下一个 Claudism 将是在这篇帖子训练之后出现的单向门。
一旦网络传输决定在网络中丢弃数据,这些数据就无法用于其他用途。 现在,我不知道前沿实验室是否存储原始音频……但也许他们应该存。
最终 AI 模型必须停止等待,并根据不完整的数据进行猜测。 它猜得好还是不好? 我们怎么知道?
嗯……也许实际上不要丢弃音频;把那些东西留在 RAM 里。
毕竟音频很小。
我们可以把 max-latency 设为 10 分钟,它最终会以最低优先级传输。
我们只在网络完全恢复时才回填那个 boye。
为什么要通过 MoQ 回填? 为什么不把它保存为文件,以后再训练?
Vroom vroom,GPU 已经热了。在上下文缓存时,问模型它猜测用户 X 秒前说了什么猜得好不好。 把它用作训练数据。 我不知道,我不是科学家。
FIN
天哪,我在这篇博客上花了太长时间。 请在你最喜欢的链接聚合网站上点个赞。
我即将YOLO 进入一家创业公司,所以如果你有兴趣收购 Kixel, Corp. 的一部分,请联系我。 趁我精神上失业、容易被打动的时候,你能拿到折扣。
如果你厌倦了高薪,想YOLO 进入一份工作,也请联系我。 下个月已经有第二个书呆子要入职了。
来源:Hacker News · moq.dev