Bearbits:会议中实时提供帮助的 AI copilot
Bearbits 是一款在会议进行中实时提供帮助的 AI copilot,而非仅在会后总结。它可实时显示不同语言的会议内容,支持会议中途的语言切换,并将内容实时翻译为用户的语言,同时基于实际网络搜索给出建议。
Bearbits 是一款在会议进行中实时提供帮助的 AI copilot,而非仅在会后总结。它可实时显示不同语言的会议内容,支持会议中途的语言切换,并将内容实时翻译为用户的语言,同时基于实际网络搜索给出建议。
针对大型音频语言模型缺乏空间感知、丢弃声源定位线索的问题,研究者提出空间音频理解模型 SEA-LM,并引入布局灵活的空间音频编码器 FOACODER,其以声源定位和自我中心语音活动检测为目标训练,用于编码 First-order Ambisonics 等空间音频信息。
Kandinsky 6.0 Video 是一组用于同步文本到音视频生成的基础扩散模型,包含 3B 参数的 Lite 版和 29B 参数的 Pro 版。两个模型都能生成 5 秒视频并同步 44 kHz 音频,支持唇形同步,提供文本到音视频(T2AV)和图像到音视频(I2AV)两种模式,内置超分辨率模型可将输出提升至 Full-HD(1920×1080)。
一项研究用纯声学聚类得到的风格标签,检验"书面文本足以决定韵律风格"这一未经证实的假设。研究对 1,200 小时对话语料中 6 位说话人的话语,在五种语音模型的空间中进行聚类。
Mistis 是一个解耦的端到端加密(E2EE)协议,让最终用户可在任意通话进行中按需互相发起实时身份验证挑战,以防范实时音频深度伪造导致的身份冒用。其设计灵感来自信用卡 3DS 处理流程,采用解耦的验证通道、注册流程以及将用户重定向至可信验证机制的方式,同时规避了原有的糟糕用户体验。
Anthropic 开始提示用户自愿分享语音对话数据,用于改进其 AI 模型理解和回应语音的方式。用户可随时在设置中关闭该功能或删除数据。
研究提出任务感知联合剪枝与蒸馏框架,将跨域知识蒸馏与剪枝结合,用于压缩基于自监督学习的音频深度伪造检测模型。这类检测器性能达 SOTA,但参数量通常超过 300M,难以部署在资源受限设备上;而现有压缩方法主要面向内容类任务,直接迁移后性能难以保持。
针对知识蒸馏中教师网络因标注有限或不均衡而产生有偏分布、直接全分布匹配会传递偏差并损害学生模型泛化的问题,该研究提出一种新方法,在低资源声学任务中从"不完美教师"学习以提升泛化能力。
美国 AI 视频公司 Tavus 于 10 月 1 日发布名为 Griffin 的模型,并将其定义为全球第一个人类交互模型(Human Interaction Model,简称 HIM)。
研究针对基于 LLM 的 TTS 模型提出 codec trajectory score 与 late residual direction score 两项情绪敏感指标,用于评估 activation-patching 干预。在匹配参考条件下,分析识别出一条稀疏的从源到读出、组件级的情绪控制回路,每种情绪涉及 23–27 个注意力头与 MLP,约占全部组件的 5%。
研究者提出 VoCa,一种在语音对话中同步进行视觉对象创建、标注与注意力引导的语音智能体。其设计基于两部分形成性研究:先观察人类配对如何协调语音与板书,再通过设计工作坊构建语音-画布交互设计空间。
OpenAI Python SDK 3.24.0 新增 Voices API,支持从文本提示词或音频样本创建自定义语音。ChatGPT 面向全球上线虚拟试穿功能,用户可在自己的照片上查看购物结果中的衣服。
Suno 于当地时间 10 月 1 日宣布推出 Speech 功能并开放公测,官方称这是业界首个将语音与音乐作为单一连贯音轨共同生成的端到端闭源音频模型。该功能内置于 Suno 中,输入一段文字并描述音色与音乐风格即可生成带 BGM 的语音音频。官方承认当前版本偶发口音漂移和语调过于戏剧化的问题。
Microsoft AI 于 2026 年 10 月 1 日发布首个流式语音转文本模型 MAI-Transcribe-2-Streaming,并称其登顶 Artificial Analysis 实时榜单。同时推出 MAI-Voice-2.1 和 MAI-Voice-2.1-Flash 两个语音生成模型。
洛杉矶一位 AI 电台 DJ 迅速走红,引发当地人类主持人的不满。该 AI DJ 在电台节目中担任主持工作并获得关注,人类主持人对此表达了负面情绪。
开发者发布了一个便携的 CPU 版 Kokoro TTS 二进制,集成 G2P、文本归一化、词典和猜测器,原因是现有 GGML/GGUF 模型有时比 Python torch 代码还慢。该实现聚焦非量化 SIMD,在其目标平台上性能出色,理论上可移植到 NEON 及其他加速器,但尚未验证。
东京法院在一起 AI 声音克隆案中裁定给予人类声音法律保护。该案涉及日本动漫配音演员,具体判决细节与适用范围尚未在现有材料中披露。
AI 音乐生成工具 Suno 推出语音生成功能 Speech,可根据脚本或提示词描述生成朗读语音,目前已在网页端和移动端公开测试。该功能支持同时生成配音与配套背景音乐。Suno 首席产品官 Jack Brody 表示,音乐始终是 Suno 的核心,但公司的愿景也延伸到其他人类表达形式。
Cephalonauts One 是一个全脑 3T fMRI 数据集,记录受试者收听音频播客时的脑活动,三名健康受试者各采集 30 小时数据,是当前使用自然语音刺激的最深 fMRI 数据集。数据同时提供播客音频、转录标注和派生的刺激嵌入向量。
Audionaut 是一款开源、跨平台的多轨音频编辑器,在 Hacker News 的 Show HN 板块发布。该工具面向多轨音频编辑场景,采用开源方式提供,并支持跨平台使用。
DriftTTS 是一种少步 mel 频谱生成器,无需生成式教师、蒸馏或对抗判别即可训练,采用分布匹配漂移目标,特征空间由原始 mel 与在相同 LJSpeech 训练集上预训练的冻结掩码自编码器编码器定义。它通过 on-policy rollout 在自身中间状态上训练解码器,避免了缩短扩散或流匹配调度以及对预训练多步教师的依赖。
Apple 研究团队发现,在预训练中强化语言判别能力可缩小多语言语音模型与单语模型的差距。在英语/法语 HuBERT 对照实验中,加入辅助语言分类器或按语言 k-means 目标后。
开发者因 Fedora 上找不到 MacWhisper 替代品,用 C# 与 Avalonia.Net 前端加 C++ 模型绑定(CTranslate2、Nemotron 3 NeMo-Speech.cpp)自建了 Linux 本地 AI 转录工具 TrueScribe,可离线转录采访。项目以 Show HN 形式发布,开发中使用了 AI 编码智能体。
Suno 发布 Speech Beta,这是一个能同时生成语音和音乐的 AI 模型。目前该功能处于 Beta 阶段,官方博客给出了介绍页面。
Microsoft 发布 MAI-Voice-2.1 文本转语音模型,支持即时声音匹配。该模型来自 microsoft.ai,目前仅有摘要信息,具体能力与开放方式尚未披露。
Inception Labs 推出 Mercury Voice,一款专为低延迟语音智能体打造的扩散 LLM。该模型面向语音智能体场景,主打低延迟表现。
针对配音质检中无参考音频、仅凭静音视频与文本判断口型是否匹配的需求,研究者提出多模态唇形同步评判模型 Align Then Reason(ATR)。该模型先在帧级唇部动作与文本间建立单调对齐,再进行推理判断,支持多语言。现有视觉语音识别器与视频语言模型即使经过微调,仍对时间错位不敏感,难以胜任该任务。
研究提出 Speaker Identified cpWER(SI-cpWER),在单一全局说话人 ID 分配下对语料打分,用于衡量同一人能否跨会议保持稳定身份。
Tacit-TTS 是一个从 IndexTTS2 蒸馏而来的免转写零样本语音克隆系统,用掩码非自回归预测替代自回归文本到语义解码,从而解决顺序解码延迟高的问题。该系统无需在推理时提供参考语音的转写文本,即可完成零样本语音克隆。
ElevenLabs 发布 Eleven v4,官方称其为表现力最强的 TTS 模型,Turbo 模式下延迟为 100ms。目前仅有摘要信息,具体能力与开放方式尚未披露。
一篇综述将视频-音频联合生成、跨模态生成与联合编辑统一形式化为同一音视频对分布上的三类问题,并沿五个设计维度对现有方法进行分类比较。该综述围绕"输出如何在时间与语义上保持跨模态一致"这一核心问题组织,作者称这是首个此类概览。
研究者提出 VGBench,一个包含 1,018 条样本的诊断基准,用于评估语音智能体在闲聊、自言自语和说话人切换场景下能否正确判断指令是否针对自己。基准采用统一动作空间(静默、工具调用、自然语言回答),说话人切换样本固定文字内容,仅改变声源、距离渲染和时间边界。测试覆盖 6 个原始 Audio LLM 和 3 个(后续内容缺失)。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 基础上为原生实时对话模型加入近实时视觉形象,可同时处理视觉与音频输入并输出带表情和口型同步的音视频。
推荐理由:官方披露了 Live Avatar 的实时音视频对话、异步工具调用与 97 种语言同步能力,可据此判断企业级数字人交互的落地形态。
针对跨语言零样本 TTS 中参考语音口音泄漏到目标语音的问题,研究者提出 Accent Analogy Guidance(AAG),一种免训练的采样项,通过减去由模型自身对同一合成音色在两种语言下预测所估计的口音方向,使音色抵消、仅保留口音。
Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色设计与逐行表演指导,后者面向高并发配音与语音智能体。
推荐理由:Google DeepMind 发布两款 TTS 模型,给出语音克隆、逐行导演和多语言能力,可据此判断语音生成工作流的变化。
Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款实时对话模型,前者面向规模与成本效率,后者面向高复杂度任务与多步推理。
推荐理由:原文给出两款语音模型的基准成绩与开放渠道,读者可据此判断语音智能体的能力与成本位置。
Voiskey 推出 AI 语音输入工具,可根据使用场景和对象自动调整语气,速度比打字快 5 倍,现已登陆 iOS、macOS、Android 和 Windows,支持 100 多种语言,可免费开始使用。发布期间加入可获赠一个月 Pro。
OpenAI 公布 GPT-Live-1 与 GPT-Live-1 mini 的系统卡,两款模型基于互联网公开数据、第三方合作数据及用户与人工训练师提供的数据训练,并经过严格过滤以减少个人信息与有害内容。