arXiv cs.CL· Garvin Kruthof·· 10 小时前AI 评分47
DriftBench：多轮 LLM 科学构思中的约束遵循基准
Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation
AI 导读
研究者提出 DriftBench 基准，用 24 个科学领域的 38 份研究简报、7 个模型（来自 5 家提供商，含 2 个开源权重模型）和 4 种交互条件共 2116 次运行，评测多轮 LLM 辅助科学构思中的约束遵循。
正文 · AI 翻译
摘要：当研究人员通过多轮对话与大型语言模型一起完善想法时，模型是否保留了原始任务说明中的约束？我们提出 DriftBench，一个用于评估多轮 LLM 辅助科学构思中约束遵循情况的基准。它将来自 24 个科学领域的 38 份研究任务说明（每份都包含硬性约束和禁止行为）与四种交互条件和来自五家提供方（其中两家为开放权重）的七个模型配对，共评分 2,116 次运行。为改进提案而施加的迭代压力会提高每个模型的结构复杂度，并降低对任务说明中硬性约束的遵循程度。复述探测表明，这些约束在被要求时仍然清晰可读且可复现，而提案却偏离了它们。知而违（KBV）率，即在正确复述约束的情况下，压力运行中仍被判定为不遵循某项硬性约束的比例，在大多数模型中超过 50%。交叉评审设计测量了评审偏差。在相同的运行中，GPT-5.4 的遵循度得分比 Opus 4.6 低 0.535 分。该设计未发现评审与条件之间在遵循度上存在交互作用，因此压力对遵循度的影响在评审之间是稳定的，而 KBV 水平和模型排名的底部则不稳定。在检查点重新引出任务说明会降低部分模型的 KBV，但对其他模型无效，且复杂度膨胀持续存在。盲评人类评分者发现的约束违规多于 LLM 评审，因此报告的遵循度是保守的。我们发布了所有任务说明、提示、评分标准、对话记录和得分。
| 评论： | NeurIPS 2026 评估与数据集赛道，41 页，6 幅图。代码：此 https URL 数据：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.28031 [cs.CL] |
| （或 arXiv:2604.28031v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.28031 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Garvin Kruthof [查看电子邮件]
[v1]
2026 年 4 月 30 日星期四 15:46:33 UTC（58 KB）
[v2]
2026 年 5 月 4 日星期一 01:39:21 UTC（59 KB）
[v3]
2026 年 11 月 6 日星期五 16:12:20 UTC（240 KB）
来源：arXiv cs.CL · arxiv.org