Soniox 发布 STT v6:新增 Agent 文本输入与回声过滤
Soniox 发布语音转文本 API Soniox STT v6,提供 stt-rt-v6 流式与 stt-async-v6 文件两种模型,覆盖 60+ 语言。
MarkTechPost· Michal Sutter·2026-11-04 04:18· 2 小时前AI 评分51
Soniox STT v6 为语音智能体新增智能体文本输入与回声过滤功能
AI 导读
Soniox 发布语音转文本 API Soniox STT v6,提供 stt-rt-v6 流式与 stt-async-v6 文件两种模型,支持 60+ 语言。
正文 · 原文
Soniox 发布了 Soniox STT v6,这是其语音转文本 API 的最新一代产品。Soniox STT v6 是一款语音转文本模型,它在聆听来电者的同时读取语音智能体所说的话。它利用该文本识别简短回复,并剔除智能体自身的声音。该版本以 stt-rt-v6 用于流式、stt-async-v6 用于文件的形式发布,覆盖 60+ 种语言。
TL;DR
- 规模:Soniox STT v6 是专有托管模型,未公布参数数量。
- 运行于:仅 Soniox 云 API(WebSocket 流式与异步 REST)。未披露自托管或端侧选项。
- 性能:Soniox 称其准确率比 v5“显著”更高,但尚未公布 v6 的数据。
- 最佳:价格。流式 $0.12/小时,异步 $0.10/小时,并包含说话人分离与语种识别。
- 最差:零独立的 v6 结果。其前代 v5 在 Pipecat 上的语义 WER 为 1.34%,落后于 v4 的 1.25%。
Soniox STT v6 解决了什么问题?
在级联式语音智能体中,STT 通常只听到来电者。它从不知道正在回答的问题是什么。
简短回答受影响最大。在 Soniox 的文档中,“River Roast”变成“River Road”,“a tow”变成“a tour”。
第二个问题是回声。智能体音频通过免提电话和笔记本电脑泄漏回来,被转写为用户语音,导致智能体打断自己。
智能体文本输入如何工作?
在启动请求中用一个标志即可启用:"enable_agent_text_input": true。它仅在 stt-rt-v6 上可用,异步模型不支持。
当智能体说话时,你在与来电者音频相同的 WebSocket 上流式传输其文字。每条消息是一个小型 JSON 帧:{"type": "agent_text", "text": "...", "end_of_segment": true}。
时序很重要。消息不携带时间戳,因此模型将文本放置在音频流中到达的位置。Soniox 建议在播放前 500 毫秒到 1 秒发送每一段,并按 TTS 时间戳控制节奏。
遇到打断时,你清空已播放的内容,发送 end_of_segment: true,并丢弃未播放的剩余部分。智能体的文本永远不会出现在返回的转写中。
智能体语音回声消除如何工作?
开启智能体文本输入后,v6 知道智能体在说什么。它利用这一点将残留的智能体音频与来电者语音分开并过滤掉。
它在播放期间持续聆听,因此来电者仍可打断。它不替代声学回声消除。它处理你现有 AEC 遗留的问题,所以请保持 AEC 开启。
v6 还有哪些变化?
- 更好的语音输入:数字、货币、单位、日期、ID、名称和专业术语。
- “period”或“new line”等语音命令会以文字形式写出,由你的应用来应用它们。
- 改进的会议转写和说话人分离,支持实时或录制。
- 更强的口音、语码转换以及句子内的语言切换。
升级前有一个格式变化需要测试。v6 将“15 dollars and 20 cents”按口语写出,而不是“$15.20”。代码中的连字符仅在口语说出时出现。
Soniox 在基准测试上表现如何?
Soniox 尚未公布 v6 的准确率或延迟数据。其基准测试页面在开源 Pipecat STT 基准测试上仍报告的是 v5 的数据。该测试使用 1,000 个真实场景样本,衡量语义 WER 以及最终分段耗时(TTFS)。
在该测试中,stt-rt-v5 的语义 WER 为 1.34%,完美转写率为 83.3%,TTFS 中位数为 260 ms。其 P95 延迟为 305 ms。Azure 的 WER 均值最低,为 1.21%,但延迟中位数为 1,016 ms。
| 功能 | Soniox stt-rt-v6 | AssemblyAI Universal-3.5 Pro Realtime | Deepgram Nova-3 | ElevenLabs Scribe v2 Realtime |
|---|---|---|---|---|
| 模型规模 | 未披露 | 未披露 | 未披露 | 未披露 |
| 流式语言 | 60+ | 18 | 60+(Nova 模型) | 90+ |
| 流式价格 / 小时 | $0.12 | $0.45 | $0.46 单声道,$0.55 多声道 | $0.39 |
| Agent 侧文本上下文 | 支持,带时间戳 agent_text | 支持,agent_context | 未披露 | 未披露 |
| 模型级 Agent 回声过滤 | 支持 | 未披露 | 未披露 | 未披露 |
| 说话人分离费用 | 已包含 | 未披露 | +$0.0020/分钟 | 未披露 |
| Pipecat 语义 WER 均值 | 1.34%(v5;v6 未测试) | 1.44% | 1.71%(nova-3-general) | 3.16% |
| Pipecat 完美转写率 | 83.3%(v5) | 84.7% | 76.5% | 81.3% |
| Pipecat TTFS 中位数 | 260 ms(v5) | 282 ms | 247 ms | 281 ms |
Pipecat 数据来自 Pipecat STT 基准测试 README。Soniox 的数据为 v5,因为 v6 尚未进行基准测试。
Soniox 真的是第一家吗?
Soniox 称 v6 是首个能知道你语音 Agent 在说什么的模型。这一说法需要加个限定条件。
AssemblyAI 已于 2026 年 7 月在 Universal-3.5 Pro Realtime 中提供 Agent 上下文。它同样会将 Agent 的回复输入流式 STT。
更明显的区别在于回声。Soniox 的文档描述了利用该文本过滤泄漏的 Agent 音频。AssemblyAI 的上下文文档未描述此类过滤。
部署、定价与迁移
v6 可直接替换:将模型名称改为 stt-rt-v6 或 stt-async-v6 即可。
v5 模型已弃用,将于 2026 年 12 月 15 日移除。此后,v5 请求将自动路由至 v6。
定价基于 token。Soniox 列出流式约 $0.12/小时、异步 $0.10/小时。Agent 文本按输入文本 token 计费,实时价格为每 1M $4.00。
关键要点
- Soniox STT v6 读取 Agent 的文本以转写来电者的回复。
- 回声过滤在常规 AEC 之外,还能去除泄漏的 Agent 声音。
- 流式费用为 $0.12/小时,包含说话人分离。
- 目前尚无 v6 基准测试数据;v5 在 Pipecat 上得分为 1.34%。
- v5 模型将于 2026 年 12 月 15 日退役,并自动路由至 v6。
查看Soniox STT v6 公告、Agent 文本输入文档以及 v6 更新日志。另外,欢迎在 Twitter 上关注我们,别忘了加入我们的 150k+ ML SubReddit 并订阅我们的新闻简报。等等!你在用 Telegram 吗?现在你也可以在 Telegram 上加入我们了。
需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等?联系我们
文章 Soniox STT v6 为语音 Agent 新增 Agent 文本输入与回声过滤 首次发布于 MarkTechPost。
来源:MarkTechPost · marktechpost.com
来源:RadarAI · aihot.news