arXiv cs.AI· Jose Hernandez-Orallo·· 3 天前AI 评分36
首个基于 LLM 的 Levin Kt 超智能 C-test 基准发布
Artificiality's First Exam: An LLM-Referenced C-test for Supraintelligence
AI 导读
研究者提出首个以 LLM 作为表示机器的 Levin Kt 测试，可生成难度以比特为单位、超越当前人类与前沿模型能力的高难度题目。该测试形式化了度量方法并搭建轻量级生成与认证流水线，首批认证题目已在 12 个 LLM 上测试，智能体特征曲线随难度下降，延伸至可认证却超出前沿智能的超智能窗口。
正文 · AI 翻译
摘要：在 AI 加速发展的背景下，任何以人类或当前 AI 系统来校准难度的基准都会变得循环，或很快饱和。那么，我们该如何评估那些可能比当前机器以及编写测试的人更有能力的机器？这个问题的一个答案取决于逆问题，即归纳推理问题，其难度取决于底层机制的复杂度，以及给定的观测和先验知识。Levin 的 Kt 是 Kolmogorov 复杂度的一种可计算变体，它为这种难度设定了理论上界，在机制的最简表示编码与运行该机制所需时间步数的对数之间取得平衡。此前由 Levin 的 Kt 衍生的测试，例如最初的 C-test，都基于极简的通用图灵机（UTM），其表示能力非常有限，也没有先验知识。推理大语言模型（LLM）是 UTM，它们将人类文化的概略作为知识，并使用提示作为自然语言程序。本文提出了首个以 LLM 作为表示机器的基于 Levin 的 Kt 的测试。新的测试项可以在高难度下生成，以比特为单位的比率尺度进行估计，且在任何人类或前沿模型能够解决它们之前就已生成。我们形式化了该度量，设计了一个轻量级的生成与认证流水线，探索了参考机器能力以及考官与考生之间差距的影响。我们制作了首批认证测试项，并在十二个 LLM 上进行了测试。由此得到的智能体特征曲线随难度增加而下降，直至未知的高难度区域，即我们可以认证、却超出数代前沿智能能力的超智能窗口。
| 评论： | 预印本，审稿中。63 页。代码和数据见 此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.14005 [cs.AI] |
| （或 arXiv:2610.14005v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14005 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jose Hernandez-Orallo [查看电子邮件]
[v1]
2026年9月27日星期日 20:41:46 UTC（541 KB）
来源：arXiv cs.AI · arxiv.org