arXiv cs.CL· Thomas Serval·· 2 天前AI 评分28
Qwen3-8B 长程可靠性研究：上下文注入下重复识别、局部处理与计数器追踪的逐步评分
Context Injection and Long-Horizon Reliability: Separating Duplicate Recognition, Local Processing, and Counter Tracking
AI 导读
研究对 Qwen3-8B（非思考模式，20 个随机种子）在 400 步账本任务中逐步评分，发现重复识别错误在 episode 后期从每步 0.0019 升至 0.011，而计数器在 8,000 步中零错误。
正文 · AI 翻译
摘要：语言模型的长期失败通常以端到端任务成功率或视界长度来衡量。我们则逐步对一项 400 步账本任务的三个组成部分进行评分，其中每一步单独来看都很简单，且模型自身的答案会被重新注入其上下文：识别 5 到 300 步之前已经见过的记录、在本地处理当前记录，以及写入每一步递增的计数器。在 Qwen3-8B（非思考模式，20 个种子，并在第二台机器和后端上复现）上，对每一步按组成部分评分，得到两个结果。第一，重复识别错误在回合后期上升——从每步风险 0.0019 升至第 200 步时的 0.011——而计数器在 8,000 步中未出现任何错误，本地处理在描述性上保持稳定；这一上升结合了长距离回忆错误和不断增加的误报。第二，在每一步之前插入一段无关内容，会使计数器在每台机器上的 20 个种子中全部失败，而没有插入时则无一失败，而其对本地处理的影响要小得多，且与无影响无法区分。三项预注册的后续实验对计数器进行了探究。其取值取决于响应历史中存在的值：被破坏的值在每个种子中都会持续存在且得不到纠正，而一个精确的外部提醒，若在每条消息前重复，则会在一到两步内使其重新对齐。在无关内容块下，当由 oracle 从外部提供的精确紧凑状态提醒出现在每条消息之前时，未观察到计数器错误（20 个种子中有 0 个出错，而没有该提醒时为 15 个），并且该提醒优于长度匹配的中性文本；单个提醒是否足够尚无定论，其他组成部分未受损害这一点也未得到确立。聚合或排他性的错误分类可能会掩盖我们所报告的这一差异。
| 评论： | 17 页，5 幅图。代码、数据和复现脚本：此 https URL（标签 v1.0-arxiv） |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20633 [cs.CL] |
| （或 arXiv:2610.20633v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20633 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Thomas Serval [查看电子邮件]
[v1]
2026 年 9 月 30 日星期三 14:08:47 UTC（144 KB）
来源：arXiv cs.CL · arxiv.org