arXiv cs.CL· Jeonghoon Lee (Attractor Dynamics Inc.)·· 10 小时前AI 评分39
冻结语言模型如何通过事件读取实现精确状态追踪
Learning to Read Events for Exact State Tracking with Frozen Language Models
AI 导读
研究者用冻结语言模型训练选择器逐事件读取状态转移,配合外部整数寄存器按序组合,在43,687个事件的299个窗口上,0.8B模型全部读对;新机器复测298/299,未达单侧95%置信下界0.99的目标。
正文 · AI 翻译
摘要:长事件流需要识别每一次变化并按顺序应用这些变化。我们在一个冻结的语言模型上训练一个选择器来读取每一次转换。在仅能通过 API 访问的情况下,我们让模型列出这些转换。一个外部整数寄存器按顺序将它们组合起来。一条置信度规则可以标记不确定的更新,或保留多个候选。我们研究了五个项目的排列之积,在 $\mathrm{TC}^0 \ne \mathrm{NC}^1$ 的标准猜想下,固定深度、对数精度的 Transformer 无法在所有输入长度上解决该任务。在双事件窗口上,一个 27B 模型在没有可见推理的情况下答对了 100 题中的 3 题,而在生成中间步骤时答对了 100 题中的 96 题。一个带有训练好的选择器的冻结 0.8B 模型读取了 299 个窗口中的每一个事件,每个窗口包含 43,687 个事件。同一套件在一台新机器上通过了 299 个新窗口中的 298 个,未达到单侧 95% 置信下界 0.99 的目标。另一项允许一次失败的后续测试得到了 473 个中的 472 个。在 1,000 个事件的房间交换文档上,十个模型中有三个仅靠推理就解决了全部五份文档。在此长度下以两种方式测试的全部七个模型都通过提取和寄存器解决了全部五份文档,且未要求思维链。采用并发提取时,Sonnet 5.5 的中位实际耗时从 136.1 秒降至 10.4 秒,GPT-6.1 Sol 从 313.5 秒降至 28.0 秒。在固定的每 token 费率下,Sonnet 5.5 的每份文档平均成本下降了 55%,GPT-6.1 Sol 下降了 44%。一个带有执行器的正则表达式也解决了全部 15 份固定格式文档。在 500 条自由格式的问题跟踪器评论上,一个单独适配的 4B 读取器在 68.8% 的情况下识别出了记录值,而在相同训练项目上拟合的频率基线为 61.0%。
| 评论: | 11 页,5 幅图。数据和代码:此 https URL |
| 主题: | 机器学习(cs.LG);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.25211 [cs.LG] |
| (或 arXiv:2611.25211v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.25211 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Jeonghoon Lee [查看电子邮件]
[v1]
2026 年 11 月 18 日星期三 21:38:05 UTC(230 KB)
来源:arXiv cs.CL · arxiv.org