跳到正文
RadarAI· MarkTechPost(RSS)·· 5 小时前AI 评分40

Soniox 发布 STT v6:新增 Agent 文本输入与回声过滤

AI 导读

Soniox 发布语音转文本 API Soniox STT v6,提供 stt-rt-v6 流式与 stt-async-v6 文件两种模型,覆盖 60+ 语言。

正文 · AI 翻译

MarkTechPost· Michal Sutter·2026-11-04 04:18· 2 小时前AI 评分51

Soniox STT v6 为语音智能体新增智能体文本输入与回声过滤功能

AI 导读

Soniox 发布语音转文本 API Soniox STT v6,提供 stt-rt-v6 流式与 stt-async-v6 文件两种模型,支持 60+ 语言。

正文 · 原文

Soniox 发布了 Soniox STT v6,这是其语音转文本 API 的最新一代产品。Soniox STT v6 是一款语音转文本模型,它在聆听来电者的同时读取语音智能体所说的话。它利用该文本识别简短回复,并剔除智能体自身的声音。该版本以 stt-rt-v6 用于流式、stt-async-v6 用于文件的形式发布,覆盖 60+ 种语言。

TL;DR

  • 规模:Soniox STT v6 是专有托管模型,未公布参数数量。
  • 运行于:仅 Soniox 云 API(WebSocket 流式与异步 REST)。未披露自托管或端侧选项。
  • 性能:Soniox 称其准确率比 v5“显著”更高,但尚未公布 v6 的数据。
  • 最佳:价格。流式 $0.12/小时,异步 $0.10/小时,并包含说话人分离与语种识别。
  • 最差:零独立的 v6 结果。其前代 v5 在 Pipecat 上的语义 WER 为 1.34%,落后于 v4 的 1.25%。

Soniox STT v6 解决了什么问题?

在级联式语音智能体中,STT 通常只听到来电者。它从不知道正在回答的问题是什么。

简短回答受影响最大。在 Soniox 的文档中,“River Roast”变成“River Road”,“a tow”变成“a tour”。

第二个问题是回声。智能体音频通过免提电话和笔记本电脑泄漏回来,被转写为用户语音,导致智能体打断自己。

智能体文本输入如何工作?

在启动请求中用一个标志即可启用:"enable_agent_text_input": true。它仅在 stt-rt-v6 上可用,异步模型不支持。

当智能体说话时,你在与来电者音频相同的 WebSocket 上流式传输其文字。每条消息是一个小型 JSON 帧:{"type": "agent_text", "text": "...", "end_of_segment": true}。

时序很重要。消息不携带时间戳,因此模型将文本放置在音频流中到达的位置。Soniox 建议在播放前 500 毫秒到 1 秒发送每一段,并按 TTS 时间戳控制节奏。

遇到打断时,你清空已播放的内容,发送 end_of_segment: true,并丢弃未播放的剩余部分。智能体的文本永远不会出现在返回的转写中。

智能体语音回声消除如何工作?

开启智能体文本输入后,v6 知道智能体在说什么。它利用这一点将残留的智能体音频与来电者语音分开并过滤掉。

它在播放期间持续聆听,因此来电者仍可打断。它不替代声学回声消除。它处理你现有 AEC 遗留的问题,所以请保持 AEC 开启。

v6 还有哪些变化?

  • 更好的语音输入:数字、货币、单位、日期、ID、名称和专业术语。
  • “period”或“new line”等语音命令会以文字形式写出,由你的应用来应用它们。
  • 改进的会议转写和说话人分离,支持实时或录制。
  • 更强的口音、语码转换以及句子内的语言切换。

升级前有一个格式变化需要测试。v6 将“15 dollars and 20 cents”按口语写出,而不是“$15.20”。代码中的连字符仅在口语说出时出现。

Soniox 在基准测试上表现如何?

Soniox 尚未公布 v6 的准确率或延迟数据。其基准测试页面在开源 Pipecat STT 基准测试上仍报告的是 v5 的数据。该测试使用 1,000 个真实场景样本,衡量语义 WER 以及最终分段耗时(TTFS)。

在该测试中,stt-rt-v5 的语义 WER 为 1.34%,完美转写率为 83.3%,TTFS 中位数为 260 ms。其 P95 延迟为 305 ms。Azure 的 WER 均值最低,为 1.21%,但延迟中位数为 1,016 ms。

功能Soniox stt-rt-v6AssemblyAI Universal-3.5 Pro RealtimeDeepgram Nova-3ElevenLabs Scribe v2 Realtime
模型规模未披露未披露未披露未披露
流式语言60+1860+(Nova 模型)90+
流式价格 / 小时$0.12$0.45$0.46 单声道,$0.55 多声道$0.39
Agent 侧文本上下文支持,带时间戳 agent_text支持,agent_context未披露未披露
模型级 Agent 回声过滤支持未披露未披露未披露
说话人分离费用已包含未披露+$0.0020/分钟未披露
Pipecat 语义 WER 均值1.34%(v5;v6 未测试)1.44%1.71%(nova-3-general)3.16%
Pipecat 完美转写率83.3%(v5)84.7%76.5%81.3%
Pipecat TTFS 中位数260 ms(v5)282 ms247 ms281 ms

Pipecat 数据来自 Pipecat STT 基准测试 README。Soniox 的数据为 v5,因为 v6 尚未进行基准测试。

Soniox 真的是第一家吗?

Soniox 称 v6 是首个能知道你语音 Agent 在说什么的模型。这一说法需要加个限定条件。

AssemblyAI 已于 2026 年 7 月在 Universal-3.5 Pro Realtime 中提供 Agent 上下文。它同样会将 Agent 的回复输入流式 STT。

更明显的区别在于回声。Soniox 的文档描述了利用该文本过滤泄漏的 Agent 音频。AssemblyAI 的上下文文档未描述此类过滤。

部署、定价与迁移

v6 可直接替换:将模型名称改为 stt-rt-v6 或 stt-async-v6 即可。

v5 模型已弃用,将于 2026 年 12 月 15 日移除。此后,v5 请求将自动路由至 v6。

定价基于 token。Soniox 列出流式约 $0.12/小时、异步 $0.10/小时。Agent 文本按输入文本 token 计费,实时价格为每 1M $4.00。

关键要点

  • Soniox STT v6 读取 Agent 的文本以转写来电者的回复。
  • 回声过滤在常规 AEC 之外,还能去除泄漏的 Agent 声音。
  • 流式费用为 $0.12/小时,包含说话人分离。
  • 目前尚无 v6 基准测试数据;v5 在 Pipecat 上得分为 1.34%。
  • v5 模型将于 2026 年 12 月 15 日退役,并自动路由至 v6。

查看Soniox STT v6 公告、Agent 文本输入文档以及 v6 更新日志。另外,欢迎在 Twitter 上关注我们,别忘了加入我们的 150k+ ML SubReddit 并订阅我们的新闻简报。等等!你在用 Telegram 吗?现在你也可以在 Telegram 上加入我们了。

需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等?联系我们

文章 Soniox STT v6 为语音 Agent 新增 Agent 文本输入与回声过滤 首次发布于 MarkTechPost。

来源:MarkTechPost · marktechpost.com

来源:RadarAI · aihot.news