arXiv cs.CL· Mahmoud Alyosify, Mirna Imbabi, Eman Elkhamisi·· 10 小时前AI 评分31
超越截断？LLM 解码中的蕴含许可省略与语义保留边界
Beyond Truncation? Entailment-Licensed Elision and the Limits of Semantic Preservation in LLM Decoding
AI 导读
研究提出 Entailment-Licensed In-Decoding Elision（ELIDE），在解码时仅当自然语言推理模型判定某段文本已被前文蕴含时才向读者省略该段，且不改变模型生成。ELIDE 在三个模型族上优于等长截断，但在 670 条公开提示的 936 次省略中 59% 损害答案，且无自动指标能检出；将许可范围收窄到话语单元后，两次新测试中有害比例降至约十分之一。
正文 · AI 翻译
摘要：经过指令微调的大语言模型（LLM）给出的回答往往比请求所需更长。我们研究解码循环内一个免训练的控制器能否在保留内容的同时去除这种多余部分，并以最简单的基线作为评判标准：将模型自身的回答截断到相同长度。一个熵门控的 logits 处理器在 MT-Bench 开发问题上移除了 25.5-34.9% 的 token，在密封测试集上移除了 19.9-34.2%，均处于预先注册的 BERTScore 非劣效性边界内；然而我们证明并经审计确认，其输出始终是未修改回答的前缀：这种节省就是截断。对 23 个免训练机制家族的调查发现，在没有 oracle 标签的情况下，没有一个能比截断更好地选择内容。因此我们引入 Entailment-Licensed In-Decoding Elision（ELIDE），它在每个句子边界处，仅当自然语言推理模型判定某段文本已被先前展示的文本所蕴含时，才向读者隐去该段，同时保持模型的生成不变。ELIDE 在三个模型家族上优于等长截断，但阅读其在 670 个公开提示上的 936 处省略后发现，59% 会损害回答，而这种失败没有任何自动指标能检测到。将许可范围限定在其话语单元后，在两项新测试中，有害比例降至约每十处省略一处。
| 评论： | 8 页，3 张图，2 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.08975 [cs.CL] |
| （或 arXiv:2611.08975v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08975 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mahmoud Sayed Youssef Kotb [查看电子邮件]
[v1]
2026 年 11 月 6 日星期五 04:39:25 UTC（103 KB）
来源：arXiv cs.CL · arxiv.org