跳到正文
RadarAI· MarkTechPost(RSS)·· 6 小时前AI 评分62

Fish Audio 发布全双工语音模型 Live 3,短反应最快 186 ms

AI 导读

Fish Audio 发布面向实时语音 Agent 的全双工语音模型 Live 3,可在说话的同时持续收听,把话轮转换从流水线规则移入语音模型,用真实对话训练学会何时应答、等待或停止。短反应最快 186 ms,支持 Fish Agent Platform、API 和企业本地部署,定价每分钟 $0.035(至 2026 年 12 月 31 日,之后 $0.07),目前仅支持英语且未公布基准分数。

正文 · AI 翻译

MarkTechPost· Asif Razzaq·2026-11-11 12:43· 3 小时前AI 评分58

Fish Audio 发布 Live 3,一款可在 186 毫秒内做出反应的全双工语音模型

AI 导读

Fish Audio 发布面向实时语音 Agent 的全双工语音模型 Live 3,可在说话的同时持续收听,把话轮转换从流水线规则移入语音模型,用真实对话训练学会何时应答、等待或停止。短反应最快 186 ms,支持 Fish Agent Platform、API 和企业本地部署,定价每分钟 $0.035(至 2026 年 12 月 31 日,之后 $0.07),目前仅支持英语且未公布基准分数。

正文 · 原文

Fish Audio 发布了 Live 3,这是一款为实时语音 Agent 打造的全双工语音模型。Fish Audio Live 3 全双工语音模型在说话的同时持续收听。这让来电者可以停顿、说“mm-hmm”或改变主意,而不会中断通话。对开发者而言,卖点很简单:话轮转换从手工调校的流水线规则移入语音模型。

TL;DR

  • 产品:一款为实时语音 Agent 打造的全双工语音模型
  • 运行于:托管的 Fish Agent Platform 和 Fish Audio API;面向企业提供本地部署。
  • 性能:Fish Audio 展示了行为演示,但未公布基准分数。
  • 最佳表现:对于“mm-hmm”这类短反应,可在最短 186 ms 内决定应答。

什么是 Fish Audio Live 3?

Live 3 是 Fish Audio 推出的一款全双工语音模型,可同时收听和说话。

其核心论点是:速度和时机是两个不同的问题。Agent 可以快速回复,却仍在错误的时刻开口。“你们几点开门?”之后的停顿通常意味着一个话轮结束;而电话号码中间的停顿则不是。

Live 3 如何处理话轮转换?

大多数语音 Agent 将识别、推理、语音生成和话轮转换拆分到不同的流水线阶段。Fish Audio 团队表示,Live 3 将会话时机移入语音模型。它基于真实人类对话训练,学会何时确认、等待、应答或停止。

他们将旧方法描述为不断堆叠“更多规则和更多阈值”。Fish Audio 则希望让模型从数据中学习时机。独立的推理层仍负责承载 Agent 的指令和工具。

Fish Audio 团队演示了 3 种行为:

  • 确认而不接管。来电者读出“415… 555… 0132”。Live 3 可能会在片段之间说“好的,415”,然后等待。
  • 区分附和与打断。来电者说“yeah”会让 Agent 继续。“等等,其实我只需要周四”则会使其停止。
  • 在更正过程中等待。对于“两个披萨……不,三个”,Live 3 会等待,而不是记录错误的订单。

Live 3 有多快?

Fish Audio 表示,Live 3 可在最短 186 ms 内决定应答。该数字涵盖“mm-hmm”、“okay”和快速确认等短反应。完整答案会并行准备。

这是小型反应的下限,而非完整回复的首个音频时间。Fish Audio 尚未公布延迟分布。第三方追踪机构 OrcaRouter 也报告称,截至 11 月 11 日,Live 3 尚无 Artificial Analysis 分数。

开发者如何部署 Live 3?

Live 3 已在 Fish Agent Platform 上线,可通过 Fish Audio API 使用,并面向企业提供本地部署。Agents 平台处于公开测试阶段。

Agents 在 /v1/agent/* 下暴露 REST 接口。浏览器会话通过 @fishaudio/agent-client 或 @fishaudio/agent-react 运行。Agents 可以接听电话号码、通过 WebRTC 连接,或嵌入网站小组件。Live 3 页面列出了 2,000,000+ 个库语音,包括克隆语音。

一个待处理的文档拉取请求显示 Live 3 在 voice.engine: "live3" 下启用。启用后,语音识别固定为 fish_audio:transcribe-stream-1。Fish Audio 的当前文档称,该模型还会将重叠归类为打断或确认。

Live 3 的价格是多少?

Live 3 页面列出每分钟 $0.035,较$0.07 下降 50%,有效期至 2026 年 12 月 31 日。页面称该方案包含 Live 3。定价文档称,$0.07 的标价涵盖 STT、TTS、基础 LLM、知识检索和工具调用。

电话通话额外收取每分钟 $0.01。一个号码每月收费$1.20。新账户可获得$5 试用余额。

Live 3 与其他全双工语音模型相比如何?

指标Fish Audio Live 3OpenAI GPT-Live-1Eleven Realtime v1 MaxGemini 3.8 Live
设计全双工,时序在语音模型中学习全双工,将推理委托给后端模型级联式,端到端调优实时对话模型,在后台运行工具
语言仅英语未披露90+97
已公布的时序最低 186 毫秒(短反应)帖子正文中未披露平均首次音频时间 0.57 秒未披露
轮次切换得分未公布相比 GPT-Realtime-2.1 在 Full Duplex Bench 上 +30 个百分点(自报)94.1% Full-Duplex-Bench未披露
推理 / 智能体得分未公布使用 GPT-6 Astra(medium)在 Tau3 上排名第一98.8% Big Bench Audio;87.1% 工具任务Extended Thinking:97.7% Big Bench Audio;68.6% τ-Voice
价格$0.035/分钟促销价,$0.07 标价(含 STT、基础 LLM、TTS)$0.05/分钟语音层 + 后端 token会话时间 + token发布帖中未披露
部署Agent Platform、API、本地部署API、电话ElevenAgents、Realtime APIGemini API、AI Studio、Gemini Enterprise(预览)

ElevenLabs 得分来自 Artificial Analysis,由 ElevenLabs 报告。OpenAI 和 Google 的数据为自报。

关键要点

  • Live 3 是 Fish Audio 面向电话和网页智能体的全双工语音模型。
  • 它从真实对话中学习轮次切换,而非依赖静音阈值。
  • 短反应最快可在 186 毫秒内开始。
  • 智能体在 2026 年 12 月 31 日前每分钟收费 $0.035,之后为 $0.07。
  • 仅支持英语,尚未公布基准得分。

查看发布帖,在 fish.audio/live3 试用,并查看Agents 文档。另外,欢迎在 Twitter 上关注我们,别忘了加入我们的 150k+ ML SubReddit 并订阅我们的新闻通讯。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等?联系我们

文章 Fish Audio 发布 Live 3,一款 186 毫秒内响应的全双工语音模型 首次出现在 MarkTechPost。

来源:MarkTechPost · marktechpost.com

来源:RadarAI · aihot.news