arXiv cs.CL· Ziyang Luo, Zhongyao Chu, Xinjie He, Youting Wang, Xukui Qin, Runxiong Wu, Yan-Syuan Chen·· 10 小时前AI 评分40
YOPO：在冻结语言模型的单次前向传播中同时完成回答与弃答
You Only Pass Once: Answering and Abstaining Together in a Single Forward Pass of a Frozen Language Model
AI 导读
YOPO 让冻结的语言模型在一次前向传播中同时完成回答与弃答，在 αNLI 上将 Qwen2.5-1.5B 的三分类准确率从 0.38 提升到约 0.75，并在 1.5B、3B、7B 上以一半成本保持与两遍参考方案 0.02 以内的差距。
正文 · AI 翻译
摘要：冻结的语言模型对其隐藏状态中的证据利用不足，并且在上下文不包含答案时仍自信作答。我们在残差流上修复这两个问题，而不改变任何权重。为提高准确率，一个小型训练网络（探针）在若干中间层向残差加入一个依赖输入的向量；它将 Qwen2.5-1.5B 在 $\alpha$NLI 上的准确率从 51% 提升到 73%。为支持弃答，一个固定向量（方向）——包含答案的上下文的平均隐藏状态减去不包含答案的上下文的平均隐藏状态——对隐藏状态打分；分数低则弃答。在四个带人工可回答性标签的 QA 数据集上（Qwen2.5-7B），将该方向迁移到未在其上拟合的数据集，平均仅损失不到 3 个百分点的决策准确率（域内为 0.83），且仍优于直接询问模型其上下文是否充分；将同样的判断作为分类器训练进探针的激活编辑或 LoRA 权重，则分别损失 16 和 22 个百分点，最终低于直接询问。我们原本希望将这两个功能放在单次前向传播中，却发现探针的编辑会改变方向所打分的那个隐藏状态，从而使其退化。一个小型映射——无标签训练，仅用于从编辑后的隐藏状态重建未编辑的隐藏状态——在 1.5B 上消除了 63% 的这种干扰。在 LoFiT 或 LoReFT 的隐藏状态对上重新拟合，同样的方法也能修复这些方法：引导模块是可替换的。由此得到的系统 YOPO 在一次前向传播中完成作答与弃答。在 $\alpha$NLI 上，它将 1.5B 的三分类准确率从 0.38 提升到约 0.75，并在 1.5B、3B 和 7B 上与两遍参考的差距保持在 0.02 以内，而成本减半。我们还在四个 QA 数据集上观察到改进，这些数据集的可回答性由人工标注，答案以自由文本生成。在跨越六个模型家族的九个骨干网络上，无需针对骨干网络调参，与两遍参考的接近持平表现依然成立。
| 评论： | 31 页。Ziyang Luo 和 Zhongyao Chu 贡献相同 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2608.14465 [cs.CL] |
| （或 arXiv:2608.14465v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.14465 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Ziyang Luo [查看邮箱]
[v1]
2026年8月14日星期五 16:44:35 UTC（111 KB）
[v2]
2026年10月29日星期四 19:18:14 UTC（115 KB）
来源：arXiv cs.CL · arxiv.org