arXiv cs.CL· Austin M. Y. Cheung, Harsh Vardhan Gupta, Go Nam Lui, Lok Kan Chan, Ginny Y. Wong, Simon See·· 10 小时前AI 评分34
TrackMem:追踪长程金融对话中不断演变的信念
TrackMem: Tracking Evolving Beliefs in Long-Horizon Financial Dialogue
AI 导读
TrackMem 是一个按说话人构建的图记忆系统,用于追踪 LLM 智能体在长程金融对话中不断修订的数字、立场与规则。团队同时推出 FinLoCoMo 基准,包含 15 段长程投资对话、765 个问题。在失败模式分榜上,TrackMem 达到 73.9% 宏平均准确率,超过最强基线 69.4%,其中修订数字类问题为 86.5% 对 73.4%。
正文 · AI 翻译
摘要:LLM 智能体的记忆系统大多在社交对话上评估,这类对话中事实不断累积且很少变化,因此记忆在很大程度上只是找到某件事被说出的那一轮。金融对话打破了这一假设:数字会被修订,立场会在未被重述的情况下发生转变,一次陈述的规则会约束后续问题,而同一家公司会在多个分析视角下被讨论。因此,检索与问题最相似段落或最近段落的记忆系统会返回已被取代的数值,错过与问题没有措辞重合的规则,也无法还原分散在多个会话中的立场。我们提出 TrackMem,一种按说话者构建的图记忆,它追踪数字的历史,按实体和视角区分不同观点,并按时间顺序保留每位说话者的行为。为评估它,我们引入 FinLoCoMo,这是一个包含 15 段长程投资对话、765 个问题的基准,分为两个划分:一个沿用 LoCoMo 类别,另一个针对四种失败模式。在两种读取器下,TrackMem 在两个划分上都优于现有记忆系统。在失败模式划分上,它达到 73.9% 的宏平均准确率,而最强基线为 69.4%,在关于修订数字的问题上提升最大(86.5% 对 73.4%)。
| 评论: | 22 页(正文 6 页),4 幅图 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| ACM 分类: | I.2.7;H.3.3 |
| 引用为: | arXiv:2611.02001 [cs.CL] |
| (或 arXiv:2611.02001v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.02001 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Austin MY Cheung [查看邮箱]
[v1]
2026 年 11 月 1 日星期日 15:43:41 UTC(170 KB)
来源:arXiv cs.CL · arxiv.org