在 Jetson Nano 上运行的质量感知自校正语音翻译系统
一套完全离线的语音到语音翻译流水线可在 Jetson Nano(4 GB)上运行,无需重训练即可自我纠正弱翻译:Whisper-tiny 做 ASR,Opus-MT 做翻译,多语言 BERT 余弦相似度作为质量估计(QE)门控,置信度低于阈值 τ 时触发二次翻译。
一套完全离线的语音到语音翻译流水线可在 Jetson Nano(4 GB)上运行,无需重训练即可自我纠正弱翻译:Whisper-tiny 做 ASR,Opus-MT 做翻译,多语言 BERT 余弦相似度作为质量估计(QE)门控,置信度低于阈值 τ 时触发二次翻译。
研究者推出 ScreenASR-Bench,一个面向带视觉上下文语音识别的分层基准,包含显式文本证据(ETE)、显式视觉证据(EVE)和隐式语义证据(ISE)三个递进难度层级。
研究团队提出 Ouvia,一个以用户为中心、衡量真实场景语音翻译可用性的评估框架,通过定制 Web 应用收集了 1,750 余次英译葡一对一沟通交互,覆盖医疗与日常场景、四套 ST 系统、三种英语口音和两种性别。结果显示仅约一半交互被评为可用,且不同人群间可用性差距显著;在各类质量指标中,基于 QA 的评估对真实可用性的预测能力明显强于标准方法。
研究对比四种开源语音 LLM 在 SpeechMMLU 和 VoiceBench BBH 上的跨层 CKA 与逐层答案 margin,发现 Qwen2.5-Omni 和 MiniCPM-o 的语音与文本表示在中层对齐但后层答案 margin 仍不同,即中层几何对齐不意味着功能等价;Qwen2-Audio 则表现为弱对齐,属于另一种失效模式。
研究者提出 MultiPartyTurnBench(MPTB),一个包含 240 段合成、声道分离对话的基准,覆盖 2 至 5 名说话人和 6 种交互类型,用于评估 End-of-Turn(EOT)检测与 Interruption(INT)检测两项任务。
SEA-HELM Audio 将文本版 SEA-HELM 基准扩展到语音领域,用合成语音对比中文、英语、马来语、印尼语和泰米尔语五种语言在 ASR-LLM 级联流水线中的语音与文本输入表现。结果显示语音输入带来显著性能下降:多项选择推理准确率下降 9.00 至 18.50 个百分点,指令遵循下降 20.00 至 42.86 个百分点,泰米尔语降幅最大,超过 40 个百分点。
针对大型音频语言模型(LALM)后训练带来的性能提升,受控实验发现这些提升大多并非来自音频理解与推理能力的真实进步:即使没有有效音频信息,提升依然存在,而一旦更换问题格式,提升便基本消失。这表明后训练更多是让模型利用任务特定的文本线索和答题模式,而非习得可泛化的音频理解与推理能力。
研究团队在 IndicDiarBench 上系统评测了印度 22 种表列语言的说话人分离,并提出 Anuvani-Diarization,将自监督端到端分割模型通过不确定性感知的 silver 监督适配到印度对话场景。
Anuvani-LID 是一个 115M 参数的专用 LID conformer 模型,在 54,643 小时印度语音(覆盖 22 种印度语言及印度口音英语)上训练,在 37 项条件下平均 macro-F1 达 0.914,比 Gemini 3.5 Flash 高 5.2 分。
研究提出 AFFIRM(Affine Fields for Interface Repair across Modalities),在知识检查点保持冻结的前提下,用可拆卸算子一次前向修复仅语音访问。
针对流式语音助手在用户自我纠正后仍执行过期工具调用的问题,研究者提出 Repair-Aware Semantic Survival Gating(RASSG),在连续三次语音识别结果参数一致时启动工具,并结合参数失效风险与执行成本在不可逆前决定取消。
AegisVox 是一个因子化框架,为长时临床语音分配一致的替代音色,并用文档一致的替换编辑含身份标识的话轮。在 390 段公开模拟或非患者对话(共 63.6 小时)上,TTS 渲染实现 535/601 次计划替换,基于 codec 的语音编辑器为 453/601。但替换实现更好可能同时伴随更差的临床或说话人关联测量,AegisVox 支持针对具体用途评估这些权衡,而非保证身份标识移除或临床安全。
研究者提出一种高效的流式端到端逆文本正则化(ITN)系统,通过改造预训练文本到文本模型并引入 Read-Tag-Write 解码策略,实现流式处理。在越南语数据集上,其准确率与非流式基线相当,优于混合方法,同时满足实时延迟要求。
研究者发布 ELARSpeech,一个从濒危语言档案库整理的大规模多语言语音资源,包含 675 种低资源语言、共 30,202 小时语音,融合人工标注与无标注录音。实验显示该数据集可将 ASR 和 TTS 能力扩展至多种低资源语言,伪标注无标注数据还能带来额外提升,但语音表征分析也暴露出当前多语言模型向语言长尾迁移的局限。数据集、训练好的 ASR 与 TTS 模型及完整数据构建流程均已公开。
针对紧凑多语言 ASR 中特征蒸馏反而拖累性能的问题,研究者提出 CAFE,将 CKA 梯度限制在英语绕过的适配器中,在参数层面而非损失层面化解权衡。在 Open ASR Leaderboard 上,CAFE 将平均 WER 从 8.55% 降至 8.02%,优于仅做适配器容量控制的 8.51%。
研究者提出 FlowSpec,用一份机器可读规范为每次部署生成策略指令、门控工具、提供监督并定义测试,智能体只能说经批准的目录语句。基于 297 个随机流程的 2,506 段对话微调 9B 参数模型,在四个未见部署流程上,流程固定的文档化检查通过率从 67–71% 升至 93–100%,场景通过率从 15/43 升至 40/43。对共享规范的审计发现 11 处缺陷,其中 3 处未被其自身指标暴露。
Amazon 旗下个人 AI 可穿戴品牌 Bee 发布两款新品,可戴在手腕或别在衣服上的 Bee Frontier 售价 74.99 美元,信用卡大小、磁吸在手机背面的 Bee Eclipse 售价 99.99 美元。
千问 App 新增「千问耳机」入口,更新至最新版本后按提示即可一键绑定千问 AI 耳机。绑定后支持语音问答、交办任务,进入「工作助理」语音下达指令即可主动执行,并支持 89 种语言专业翻译与多语言 AI 实时听记。
xAI 发布语音对语音模型 Grok Voice 3.0,在 Artificial Analysis Speech-to-Speech Index 上以 86.9 分排名第一,高于 GPT-Live-1(Astra, medium)的 83.2 分和 Gemini 3.8 Live Extended Thinking 的 82.6 分。
SpaceXSI 发布面向客服通话的语音到语音模型 Grok Voice 3.0,称响应时间不到一秒、延迟降低 40%。同时 Grok Bot 市场开放开发者提交连接器、插件和 MCP server。
OpenWhispr 发布开源免费的语音转文字桌面工具,定位为 WisprFlow 和 Granola 的替代品,支持 macOS、Windows 和 Linux。
通过微调 EmbeddingGemma 2 的音频编码器顶部两层并添加读取器,构建出越南语语音识别模型,在标准基准测试中实现 6.87% 的平均词错率,性能与 Gemma 4 相当。该方案仅微调少量层即可快速适配专用语言,兼顾高性能与快速推理。
anatomy 视频生成 Skill 的评测显示,它能从一句话提示快速生成高质量科普视频,TTS 环节由字节豆包处理,整体效果适合用于视频起号。作者认为该工具性能出色,适合内容创作。
Artificial Analysis 评测显示,SpaceXAI 的 Grok Voice 3.0 以 86.9 分登顶 Speech to Speech Index。
AssemblyAI 的 Universal-3.6 Pro 已上线 OpenRouter,通过其 Sync API 提供语音转文字。相比 Universal-3.5 Pro,短对话语句错误减少 30%,支持语言平均错误减少 12%,并改进电话号码、地址、邮箱和代码的识别与格式化,新增韩语、粤语、俄语等 14 种语言。定价为 $0.30/hr。
SpaceXSI 发布 Grok Voice 3.0,称其为全球最智能的语音到语音模型,擅长处理客服通话,响应时间低于一秒,成本低于其他前沿模型。Grok Bot 工程负责人 Lauren Tan 转发该消息并建议在 Grok Bot 中试用。
SpaceXAI 发布 Grok Voice 3.0,在 Artificial Analysis 的 Speech-to-Speech Index 以 86.9 分居首,超过 OpenAI 与 Google,GPT-Live-1(Astra, Medium)为 83.2。
Artificial Analysis 的分析显示,SpaceXAI 的 Grok Voice 3.0 以 86.9 的分数在语音到语音指数中排名第一,明显优于其前代产品和现有竞争对手,同时保持了有竞争力的低延迟。该分析还对比了 Grok Voice 3.0 与 GPT-Live-1 和 Gemini 3.8 Live,并考察了其在语音推理、代理性能和偏好评级中的表现。
Artificial Analysis 的 Speech to Speech Index 显示,SpaceXAI 的 Grok Voice 3.0 以 86.9 分首秀登顶。
xAI 发布 Grok Voice 3.0,以 86.9 分登顶 Artificial Analysis 的 Speech-to-Speech Index,超过 OpenAI 和 Google,GPT-Live-1(Astra, Medium)为 83.2。
SPACEXSI 宣布推出 Grok Voice 3.0,这是一个语音转语音模型,在多个基准测试中领先,延迟降低 40%,适合 AI 呼叫中心应用。该推文称其在语音识别与响应技术上取得明显进步,但材料仅提供摘要,未给出具体基准名称与测试数据。
xAI 公布 Grok Voice 3.0,称其在多项基准和 Artificial Analysis Speech-to-Speech Index 上成为 SOTA 语音到语音模型,延迟降低 40%。引用内容称该模型擅长处理客服来电,响应不到一秒,成本低于其他前沿模型。对比图中 Grok Voice 3.0 的 Agent 成功率为 71.6%,高于 Grok Voice 2.0 的 56.5%。
Sierra Research 的 τ³-bench 新增 banking_knowledge 知识检索域和基于 OpenAI、Gemini、xAI 实时 API 的语音全双工评测,并修复 75+ 任务质量问题。v1.0.1 修正了 banking_knowledge 的任务错误并重新评分,其他域不受影响;安装改用 uv,要求 Python >=3.12。
HeyGen Voice 已上线 OpenRouter,10 月 31 日前 API 价格 5 折,为每百万字符 $15(原价 $30),折扣自动生效。该文本转语音模型登顶 Artificial Analysis TTS 排行榜,提供 HeyGen Voice 和低延迟的 HeyGen Voice Turbo 两种模式。
HeyGen Voice 已上线 OpenRouter,10 月 31 日前五折:HeyGen Voice 每百万字符 $15(原价 $30),HeyGen Voice Turbo 每百万字符 $7.50(原价 $15)。
OpenRouter 上线 HeyGen 语音功能,开箱即用可选 10 种声音,也可自带 HeyGen 密钥,使用自己 HeyGen 账户中克隆的声音。该功能归属 OpenRouter 语音与音频产品更新。
SpaceXAI 的 TypeScript SDK 示例集 cookbook 已更新,包含 25 个示例。这些示例覆盖一句话前提生成短片、一张照片生成延时摄影、会说话的照片、产品图生成视频广告、视频配音、实时语音翻译等场景。
Square 发布 Square Kiosk 自助点单终端,配备 21.5 英寸触摸屏和"智能体对话语音层",能理解商家菜单并实时响应,顾客可像与店员交谈一样提问、要求修改或替换菜品。该设备支持存在检测迎宾和感应/插卡支付,今日起以 1,999 美元面向 Square Plus 或 Premium 订阅商家发售,另收每台每月 99 美元软件费。
研究者提出一种轻量方法,直接利用预训练语音编码器帧级语言信息判断一句话中是否同时出现两种语言,无需依赖多语言转录。在 CS-FLEURS 的 14 个语言对上,Whisper-small 编码器平均 F1 达 0.798,高于 CNN 的 0.776 和 HuBERT 线性基线的 0.751。该方法表明预训练语音编码器已编码识别语码转换所需信息,可用于构建更具代表性的多语言语料。
Apple 提出首个从零预训练的三模态掩码扩散模型(MDM),在文本、图文和音频-文本数据上联合训练,并系统分析了多模态缩放规律、模态混合比例、噪声调度与批大小影响。其基于 SDE 的重参数化将物理批大小与逻辑批大小解耦,免去最优批大小调参。初步模型在 3B 规模(6.4T tokens)下于文本生成、T2I 和 T2S 任务均取得强劲结果。