arXiv cs.CL· Heeseung Kim·· 9 天前AI 评分28
EgoVoice：从第一人称多模态流实现主动语音辅助
EgoVoice: Proactive Spoken Assistance from Egocentric Multimodal Streams
AI 导读
EgoVoice 是一个训练与评估主动式第一人称语音助手的框架，让模型在连续第一人称视频与音频流中自行决定何时保持沉默、何时给出语音指导。研究基于 HoloAssist 真人教学录像，通过音源分离与语音重合成构建干净音频流，并用直接偏好优化改进全模态 LLM 的主动干预行为。
正文 · AI 翻译
摘要：可穿戴增强现实（AR）助手正朝着持续的现实世界交互方向发展，它们通过第一人称视频和音频感知用户的活动，并在未被明确要求的情况下及时提供语音指导。尽管主动式视频助手、口语对话系统和自我中心任务理解各自都发展迅速，但现有系统并未解决从连续的第一人称流中决定何时说话以及说什么这一联合问题。我们提出了 EgoVoice，一个用于训练和评估主动式自我中心口语助手的框架。基于真实人类指导者的 HoloAssist 视频记录，我们通过源分离和语音重合成构建干净的音频流，并将每个视频会话转换为一种格式，使模型必须在每一时刻决定是保持沉默还是提供语音指导。我们使用自己的数据微调了一个全模态 LLM，并通过直接偏好优化进一步改进其主动干预行为。在闭源和开源模型上的实验表明，现有系统很少能产生时机恰当、有意义的主动干预，而 EgoVoice 在干预时机、内容相关性和人类偏好方面相比零样本骨干模型均有明显改进。
| 评论： | 已被 EMNLP 2026（主会议）接收。25 页，12 张图，11 张表。项目页面：此 https URL |
| 主题： | 计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV）；声音（cs.SD） |
| 引用为： | arXiv:2610.12248 [cs.CL] |
| （或 arXiv:2610.12248v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12248 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Heeseung Kim [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 16:24:12 UTC（13,097 KB）
来源：arXiv cs.CL · arxiv.org