arXiv cs.AI· YaJie Yin·· 14 小时前AI 评分38
无形式化答案场景下的可训练边界保持：证据充分性判断中奖励训练的受控 knock-in 研究
Trainable Boundary-Keeping Where No Formal Answer Exists: A Controlled Knock-In Study of Reward Training in Evidence-Sufficiency Judgment
AI 导读
一项预注册、同基座、受控 knock-in 的 14B 同族模型研究显示，采用 SFT 后接 GRPO 的边界保持方案，可将证据充分性判断中的自发正确拒答率从 25% 提升至 100%（每组 40 例，Wilson 95% CI 下限 91.2%，与基线区间 [14.2%, 40.2%] 不重叠），而打乱配对的安慰剂组降至 5% 自发正确、91.1% 误拒。
正文 · AI 翻译
摘要：经过推理微调和奖励训练的模型，常被认为因推理更长或能接收正确性信号而验证更可靠。我们在证据充分性判断中检验这一点：判断现有信息是否真正支持某一因果主张，这是一个不存在可判定正确性奖励的领域。采用预注册、同基座、受控 knock-in 设计，我们将一种边界保持方案（先 SFT 后 GRPO）与其自身基线、一个打乱配对的安慰剂以及一个通用推理模型进行比较，实验在无评估邀请的行动压力协议下进行。所有承重结果均由两个独立的模型评分会话评定，评分者对实验组标签设盲；自动评判仅用于触发。训练组将自发正确拒绝率从 25% 提升至 100%（每组 40 例；Wilson 95% CI 下界 91.2%，与基线区间 [14.2%, 40.2%] 不重叠），而打乱配对的安慰剂组则崩溃（自发正确率 5% / 受邀正确率 7.5%；错误拒绝率 91.1%）。该效应具有边界特异性，而非一概拒绝：在 281 条格式良好的主张上，自动错误拒绝率为 1.1%（Wilson 上界 3.09%），并且对 18 个条目进行的针对性 arm-(c) 复核（3 个被标记加 15 个被接受）在两个会话中分别产生 0/18 和 1/18 的错误拒绝。这种分离是主要结果：最终边界保持无需推理时验证器即可训练，而在 H3 测定中观察到的主动数值/计算检查仍接近于零；SFT 饱和使得 GRPO 的增量无法单独识别。一项预注册的机制裁定支持对最终行动状态的奖励内化（H2，支持度最高，但未被证明）。研究范围是一项受控的 14B 同家族研究：我们不声称已获证明、跨家族通用性或独立人类专家验证；评分会话是模型会话，而非人类评审者。
| 评论： | 14 页，3 幅图。汇总数据/图表代码：此 https URL（代码 MIT；数据/文本/图表 CC BY 4.0）。写作/实现由 AI 智能体协助；作者设计了本研究并对最终文本负责 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.35226 [cs.AI] |
| （或 arXiv:2610.35226v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.35226 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：YaJie Yin [查看邮箱]
[v1]
2026 年 10 月 26 日星期一 11:16:28 UTC（98 KB）
来源：arXiv cs.AI · arxiv.org