arXiv cs.CL· Jize Jiang, Chengxiang Zhai·· 11 小时前AI 评分34
基于能力的大语言模型逻辑推理评估（CBE）
Competence-Based Evaluation of Logical Reasoning in Large Language Models
AI 导读
研究者提出能力导向评估（CBE）范式，用参数化生成器在固定所需能力的前提下扩展问题复杂度，并通过保持答案不变的多种表述检验模型是否稳定复用同一能力。在基础排序任务上测试六个 GPT 与 Qwen 模型，模型在有界复杂度范围内表现尚可，但即便强模型也未能在整个测试问题族上满足能力条件。Chain-of-thought 与 GRPO 可延续强表现但未解决全部失败，监督 LoRA 的留出迁移效果有限。
正文 · AI 翻译
摘要：大语言模型（LLM）的最新进展在各类任务上带来了令人瞩目的表现；然而在逻辑推理方面仍存在不足，包括在语言变体下出现不一致。为了提升 LLM 的推理能力，我们必须能够准确衡量其推理能力。当前的基准测试主要报告在选定推理任务上的单一准确率数字。这种基于性能的评估方法几乎无法说明模型在推理上的泛化能力。为弥补这一局限，我们主张采用一种不同的评估范式，称为基于能力的评估（CBE），它检验模型能否在一族问题上可靠地应用同一能力。参数化生成器在保持所需能力不变的同时扩展复杂度，而匹配的保答案呈现方式则检验正确性是否超越单一表述形式。我们在基础排序任务上实例化 CBE，在改变同一排序规则的呈现方式的同时扩展输入规模。在六个 GPT 和 Qwen 模型上，性能在有界复杂度范围内相当不错，但即便是强模型在测试族上也未能满足能力条件。思维链和 GRPO 扩展了强劲性能，但并未解决所有测试到的失败；监督式 LoRA 显示出很小的留出迁移。CBE 提供了诊断画像和一套可随未来模型扩展的评估协议。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.22894 [cs.CL] |
| （或 arXiv:2610.22894v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22894 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jize Jiang [查看邮箱]
[v1]
2026年10月16日星期五 03:52:17 UTC（137 KB）
来源：arXiv cs.CL · arxiv.org