arXiv cs.MA· Hangyu Qin, Junbin Xiao, Angela Yao·· 11 小时前AI 评分31
ReferClaw：为第一视角助手消解用户意图歧义
ReferClaw: Disambiguating User Intent for Egocentric Assistance
AI 导读
ReferClaw 是一个智能体框架，把第一视角流式问答改为交互过程：先由三个协作智能体识别候选解释、提出澄清问题，再基于确认的意图和视觉证据作答。其成本感知策略在预期信息增益与用户负担之间权衡，并限制澄清轮次与问题复杂度。在增强的第一视角 QA 基准上，答案准确率与答案加定位的联合表现均优于现有基线，并实现跨数据集零样本迁移。
正文 · AI 翻译
摘要：第一人称 AI 助手的使用者常常提出简短、含糊的问题，其意图所指无法仅凭视频和对话历史唯一确定。例如，“我把它放哪儿了？”可能指代多个此前处理过的物体。现有的 VideoQA 系统通常只认定单一解释，可能给出看似合理却与用户意图不符的答案。我们提出 ReferClaw，一个智能体框架，将第一人称流式问答构建为交互过程：助手在回答前先提出澄清问题以明确用户意图。三个协作智能体分别识别候选解释、请求澄清，并基于已明确的意图和视觉证据生成答案。一个有界、成本感知的策略在预期信息增益与用户负担之间取得平衡，同时限制澄清轮次和问题复杂度。ReferClaw 通过意图特定的技能更新以及带智能体级信用分配的过程奖励引导策略优化，从交互中学习。在增强的第一人称问答基准上的评估表明，与现有基线相比，答案准确率以及答案与定位的联合性能均有提升，并实现了跨数据集的零样本迁移。这些发现支持将交互式澄清作为在第一人称流式辅助中解决在线用户意图的实用方法。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2611.07683 [cs.CV] |
| （或 arXiv:2611.07683v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07683 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hangyu Qin [查看邮箱]
[v1]
2026年11月5日 星期四 09:10:14 UTC（1,123 KB）
来源：arXiv cs.MA · arxiv.org