用形式语法基准区分 GPT-5.5 Pro 各推理等级

Distinguishing among reasoning levels of GPT 5.5 Pro via a grammar lens benchmark

AI 导读

研究者用源自计算理论的形式语法基准测试 GPT-5.5 及 GPT-5.5-Pro-Medium、-High、-XHigh，四者对测试数据的接受率依次为 16%、40%、43%、52%，显示该基准能分辨模型测试时推理等级的细微差异。随着测试时计算投入增加，模型回答与人类回答的分歧也在扩大，作者认为这种分歧可能成为更强语言模型的普遍特征，并带来能力与对齐之间的潜在冲突。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：测试时处理努力的程度是否会影响语言模型的计算能力？一种源自计算理论的形式化语法透镜基准方法，可在指定层级生成新数据，每一层级都比其下一层级在计算上更强大。利用这些数据，我们测试了 GPT-5.5，以及 GPT-5.5-Pro-Medium、-High 和 -XHigh，其对测试数据的接受率依次递增：分别为 16%、40%、43% 和 52%，这表明该基准能够辨别模型在测试时推理层级上的细微差异。此外，随着测试时计算努力的增加，模型对相同数据的回答与人类回答出现分歧。这种日益加剧的分歧可能成为能力更强的语言模型的普遍特征，从而带来一种普遍的能力与对齐冲突的可能性。

学科：	计算与语言（cs.CL）
引用为：	arXiv:2611.00555 [cs.CL]
	（或 arXiv:2611.00555v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.00555 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Richard Granger [查看电子邮件]
[v1] 2026年10月31日星期六 02:28:02 UTC（703 KB）

来源：arXiv cs.CL · arxiv.org