arXiv cs.CY· Ahmed M. Mahran·· 12 小时前AI 评分44
超越感知之外：AI 评估与监督局限的分区理论
What Lies Beyond Perception: A Partition Theory of the Limits of AI Evaluation and Oversight
AI 导读
研究提出评估的“分区理论”：智能体的判别力是把输入划分为无法区分的类别，判别力是能力的必要条件而非充分条件，因此评估只能给出能力下限、无法证明上限。作者证明，若受测者的分区比评估者更细，它就能通过评估者能评分的所有测试；据此定义的 echo test 对评估者可评分的测试是完备的。该结论可扩展到多监控器集成与模型可控通道，并解释评审分歧与 sandbagging 的已有发现。
正文 · AI 翻译
摘要：更换评判者会改变基准分数，而模型也可以被训练来隐藏能力。这两点都使评估者受到质疑：它能证明什么？我们从一个原则出发，发展出一种评估的划分理论：判断受感知所限。智能体的辨别力，就是将其输入划分为它无法区分的类别。辨别力是能力的必要条件，但并非充分条件，因此对辨别力的界限直接关系到评估能否表明模型缺乏某种能力。我们证明了一个单侧界限。若受试者的划分比其评估者的划分更精细，则只要每个输入都有可接受的回复，它就具备通过评估者能评分的每一项测试的辨别力。我们定义了回声测试，它接受评估者感知为与输入完全相同的任何回复，并证明该测试对于评估者能评分的测试是完备的。因此，通过测试至多只能证明辨别力的下限，永远不能证明上限，只有更敏锐的评估者才能提高这一下限。若用于检测隐瞒，回声测试的失败会指向错误的方向：在穷尽式探测下，它会标记出每一个诚实但较弱的受试者，却不会标记出任何表现得与评估者同等水平的隐瞒者。对较弱模型的精确模仿，是任何行为评估者都无法检测的。我们将该界限推广到监控器集成以及模型控制的通道，解释了已发表的关于评判者分歧与偷懒（sandbagging）的发现，并推导出可检验的预测。仅凭行为评估来论证模型缺乏某种能力的安全论证，必须假设模型予以配合。
| 评论： | 36 页（23 页正文，之后为参考文献和附录），6 幅图，2 张表 |
| 主题： | 人工智能（cs.AI）；计算机与社会（cs.CY）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.30803 [cs.AI] |
| （或 arXiv:2610.30803v1 [cs.AI] 获取此版本） | |
| https://doi.org/10.48550/arXiv.2610.30803 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ahmed Mahran [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 06:28:29 UTC（47 KB）
来源：arXiv cs.CY · arxiv.org