arXiv cs.AI· Xin Cheng, Junming Yang, Ning Xu·· 3 天前AI 评分27
APB：面向 LLM 多轮知识推理的主动探测基准
Query Your Way Out: Benchmarking Multi-Turn Knowledge Reasoning through Generalized Puzzle Solving
AI 导读
研究者提出 Active Probing Benchmark（APB），将猜谜式概念识别转化为多轮主动探测的交互推理任务，覆盖八个学科领域、960 个专业难度目标概念。评测发现一个反直觉现象：多数开源推理模型的表现显著低于其标准指令版本，说明它们在交互场景中难以用过程性推理可靠调用专业知识。APB 同时提供可扩展的基准生成流程。
正文 · AI 翻译
摘要：谜题为大语言模型（LLM）推理提供了一个天然的测试平台，因为它们在部分信息下提出可验证的目标，并需要多步决策才能得出解决方案。然而，现有的谜题基准通常聚焦于机制僵化、解目标严格受限的狭窄环境。为弥补这一空白，我们提出了主动探测基准（APB），它将概念识别转化为一项交互式推理任务，从而将谜题求解推广开来，并把专业知识评估融入谜题设定之中。具体而言，APB 评估模型能否通过多轮主动探测和推理来获取信息，从而在八个不同学科领域中精准定位 960 个具有专业难度的目标概念。我们的评估揭示了一个反直觉的现象：大多数开源推理模型的表现显著逊于其标准指令版本。这一发现表明，在交互式场景中，这些模型难以利用程序性推理来可靠地获取和应用专业领域知识。除了这些实证发现之外，APB 还提供了一条可扩展的流水线，用于生成在不同场景下探测交互中知识推理的基准。
| 评论： | 20 页，8 张图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16133 [cs.CL] |
| （或 arXiv:2610.16133v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16133 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Xin Cheng [查看邮箱]
[v1]
2026 年 10 月 12 日星期一 03:50:39 UTC（426 KB）
来源：arXiv cs.AI · arxiv.org