arXiv cs.CL· Haocheng Mei, Yuchuan Tian, Ye Yuan, Enhua Wu, Chao Xu, Allen Chen, Kai Han, Yunhe Wang·· 14 小时前AI 评分18
用 Span Readout 与选择性适配改进 JEV 蕴含重排序
Improving JEV Entailment Reranking with Span Readouts and Selective Adaptation
AI 导读
研究将 mean-span readout 与选择性主干适配结合用于 JEV 蕴含重排序：mean-span pooling 以每个 NLI 选项内部上下文状态的平均值替代选项结尾指针，且不增加 head 参数；选择性适配保留 attention 与 gated DeltaNet 投影中的低秩更新、移除前馈适配器。
正文 · AI 翻译
摘要：JEV 决策模型将语言模型主干与轻量级评分头配对，以在自然语言选项中进行选择。直接选择在单个请求内比较候选答案，而蕴含重排序则在针对固定关系选项的独立自然语言推理（NLI）请求中评估每个候选。我们考察用于直接选择的读出与适配选择是否对跨请求重排序仍然有效。我们将均值跨度读出与选择性主干适配相结合。均值跨度池化用每个 NLI 选项内上下文化状态的平均值替代选项结尾指针，且不增加头参数。选择性适配在注意力和门控 DeltaNet 投影中保留低秩更新，同时移除前馈适配器。在 MC11 上（该指标对来自七个来源的十一种重排序配置的准确率取平均），选择性适配将 NeoHorse-1-4B 的准确率提升至全模块基线之上，同时将可训练参数减少一半以上，而均值跨度池化在相同参数数量下带来进一步的一致增益。
| 评论： | 25 页，3 幅图。项目页面：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.35654 [cs.CL] |
| （或 arXiv:2610.35654v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35654 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haocheng Mei [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 16:02:25 UTC（40 KB）
来源：arXiv cs.CL · arxiv.org