arXiv cs.AI· Mohammed Nayeem Khan, Allan Kevin T·· 1 天前AI 评分31
Laya 单次决策编码器在输入何处关注？长文档截断对准确率的影响分析
Where in the Input Does a One-Pass Decision Encoder Look?
AI 导读
小型模型 Laya 将问题、选项与文本拼成最多 512 token 的单序列一次作答，超出窗口的文本被静默截断。在 177 条测试项、93,275 次请求上，证据落在窗口外时已发布 checkpoint 准确率降至 26.4%，接近 27.0% 的随机猜测，且置信度无法预警（AUROC 0.50-0.55）。
正文 · AI 翻译
摘要：Laya 是一个小模型，它一次性回答关于一段文本的单项选择题：问题、选项（每个选项包含名称和描述）以及文本构成一个最多 512 个 token 的序列，即英文版本中的窗口。较长的文本会在末尾被静默截断，我们测量了这样做的代价。测试文档将留出行的文本（证据）放在干扰文本中选定的 token 偏移处；共 177 个项目、五个任务、三个检查点（已发布版、短行微调版、长文档微调版）、四种窗口大小和 93,275 次评分请求。当证据位于窗口之外时，已发布检查点的准确率降至 26.4%（两个微调版均为 27.2%），接近随机猜测的 27.0%，低于始终给出最常见标签的 35.6%。置信度没有给出任何警告（区分截断请求与已读请求的 AUROC 为 0.50 至 0.55；0.5 表示随机），而且运行时的截断标志也会在证据可见的请求上触发。已发布检查点在文本位于证据之前时读取可见证据的效果很差：合并准确率为 38.5%，而证据位于最前时为 60%，因此仅增大窗口就能带来 +6.2 个百分点的提升。在长文档上微调相比短行微调版在可见证据上提升 +27.6 个百分点（95% 区间 +22.3 至 +33.1），而在被截断的证据上没有任何提升。这是一个同族内的结果：训练行和测试文档共享生成器和问题类型，且主要填充文本属于训练类型。当填充文本为训练中从未见过的百科式内容时，提升为 +13.2（+9.9 至 +16.6）；当填充文本为其他任务的行时，提升为 -2.0。在无需训练的重排方法中，312 个 token 的窗口扫描帮助最大（对已发布检查点比默认方法提升 +11.9 个百分点），需要六到十一次前向传播。文档是合成的，标签由 LLM 生成，且只研究了一个骨干模型，因此这些结果诊断的是该模型，而非一般意义上的长文档。
| 评论： | 25 页，19 幅图，23 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.16477 [cs.CL] |
| （或 arXiv:2611.16477v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16477 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Allan Kevin T [查看邮箱]
[v1]
2026 年 11 月 12 日星期四 08:42:11 UTC（2,171 KB）
来源：arXiv cs.AI · arxiv.org