arXiv cs.AI· Robert Graham, Yariv Barsheshat, Phil Blandfort, Sabri Alouache·· 9 天前AI 评分29
模型一致性研究：窄域微调模型在重采样下自相矛盾
An Investigation of Model Coherence: Narrow Finetunes Contradict Themselves Under Resampling
AI 导读
研究提出用175个问题测量模型一致性，通过重采样同一问题的答案检测矛盾，该方法特异性高，仅在问题明显时才判定模型不一致。结果显示窄域微调模型得分较差，文献中的模型存在身份混淆、内省失败和合理化等严重问题。
正文 · AI 翻译
摘要：大量研究基于输出方差来衡量模型一致性，而未充分考虑其他竞争性原因。我们识别出两种此类原因：歧义与漠然，并引入了一组 175 个问题，其中相互矛盾的答案难以用这两种原因解释。随后，我们通过对同一问题的答案进行重采样，以矛盾来衡量不一致性。与其他方法相比，我们的指标具有高特异性，只有当问题非常明显时才会将模型列为不一致。即便如此，我们发现窄域微调模型得分很差。检查我们的方法所标记的不一致之处，我们发现文献中的模型生物表现出严重问题，如身份混淆、内省失败和合理化。这些发现表明，窄域微调所诱发的病理可能限制了这些模型在连贯的错位行为方面能告诉我们什么。
| 评论： | 18 页，5 幅图，4 张表。代码与数据集：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.12129 [cs.AI] |
| （或 arXiv:2610.12129v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12129 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yariv Barsheshat [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 15:22:00 UTC（321 KB）
来源：arXiv cs.AI · arxiv.org