arXiv cs.AI· Achira Lin, Siyuan Hou, Wenyi Yu, Xinnian Zhao, Haoyu Niu, Wang Geng, Longshuai Xiao, Shihai Xiao, Mangsuo Zhao, Chao Zhang·· 10 天前AI 评分24
PERSIST：面向全双工语音对话的跨会话 Who-What-When 记忆系统
PERSIST: Who-What-When Memory Across Sessions for Full-Duplex Spoken Dialogue
AI 导读
PERSIST 是一个面向多会话、多说话人语音对话的持久记忆系统，显式建模 Who、What、When，将跨会话历史组织为可读事件记录，并用 3W 联合评分机制结合语义内容、声学说话人身份与时间状态进行检索。
正文 · AI 翻译
摘要：现代语音助手可能由多个用户共享，应当能够回答关于先前对话的问题，例如“我最初计划什么时候离开？”，或根据过去的交互使自身行为适应各个用户。这不仅仅是检索主题相似的段落：助手必须识别当前说话人，恢复相关的过去状态，并将其与后续修订区分开来。我们提出 PERSIST，一个面向多会话、多说话人口语对话的持久记忆系统，显式建模 Who、What 和 When。PERSIST 将跨会话历史组织为可读的事件记录，并用 3W 联合评分机制进行检索，该机制结合语义内容、声学说话人身份和时间状态。对于实时全双工交互，PERSIST 进一步复用对话骨干网络的中间表示，避免对查询音频重新编码，并将检索延迟从 578.42 ms 降至 7.03 ms。我们还提出 SpokenTrace，一个诊断基准，沿记忆任务和说话人查询类型分解评估，揭示召回、说话人归属和时间状态跟踪方面的失败。在 SpokenTrace 上，PERSIST 达到 85.08% 的端到端任务准确率，并将 all-support EM@3 从 BGE-large 的 49.01% 提升至 82.10%。
| 评论： | 19 页，3 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07725 [cs.AI] |
| （或 arXiv:2610.07725v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07725 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Achira Lin [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 04:21:11 UTC（1,261 KB）
来源：arXiv cs.AI · arxiv.org