arXiv cs.CL· Zhenshuai Yin, Jianshu Liang, Xuyue Xiong, Yongxin Guo, Mingda Zhang, Zhongze Luo, Haoyue Liu, Lianmin Zhang, Xiaoying Tang·· 14 小时前AI 评分31
LADDER：诊断噪声反馈下的领域级自我评估
LADDER: Diagnosing Domain-Level Self-Assessment Under Noisy Feedback
AI 导读
LADDER 用于研究语言模型在不可靠反馈下如何评估自身能力。研究发现，模型能准确复述给定的表现信息，却难以从交互经验中形成可信的自我评估；看似准确的评估会掩盖能力差异，也不一定能预测后续任务表现。研究据此提出，可信的自我评估应以实际任务表现及其预测价值为衡量标准。
正文 · AI 翻译
摘要：了解语言模型何时可靠，对于支持人机协作至关重要。然而，交互反馈并不总是完整或正确的，可能会误导模型对自身能力的理解。我们提出 LADDER，以研究语言模型在不可靠反馈下如何评估自身。我们的研究结果表明，模型能够准确报告所提供的性能信息，却仍难以从交互经验中形成可信的自我评估。看似准确的评估可能掩盖能力差异，且不一定能预测未来的任务表现。这些发现表明，可信的自我评估应依据观察到的任务表现及其预测价值来评估。我们的研究为模型自我认知的局限性提供了实证证据，并为评估可靠人机协作中的能力意识提供了基础。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.34737 [cs.CL] |
| （或 arXiv:2610.34737v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34737 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhenshuai Yin [查看邮箱]
[v1]
2026年10月26日星期一 02:38:34 UTC（2,512 KB）
来源：arXiv cs.CL · arxiv.org