arXiv cs.AI· Zenghui Zhou, Xiaoke Fang, Zheng Zheng·· 11 小时前AI 评分38
LGMT：一款测试 LLM 逻辑推理可靠性的开源工具
LGMT: A Tool for Testing the Logical Reasoning Reliability of LLMs
AI 导读
LGMT 是一款开源工具，通过基于一阶逻辑的蜕变关系检测 LLM 的推理不一致性：给定前提-结论形式的源测试用例，它生成逻辑等价的后续用例并检查模型蕴含预测是否一致，无需真实标签。
正文 · AI 翻译
摘要：大型语言模型（LLM）在现代软件系统中日益充当推理组件，然而一个能正确回答逻辑查询的模型，在同一个问题以等价形式重新表述时却可能自相矛盾。静态基准测试孤立地评估查询，因此无法暴露此类不一致。为解决这一局限，我们提出 LGMT，一个开源工具，它通过基于一阶逻辑的蜕变关系来检测推理不一致。给定一个前提-结论形式的源测试用例，LGMT 会生成逻辑等价的后续用例，并在无需真实标签的情况下检查模型对两者的蕴含预测是否一致。该工具提供 20 种内置蜕变关系，支持由 Z3 定理证明器验证的自定义关系，并可通过 CLI 或 Web studio 运行，其中包括无需 API 密钥的离线模拟模式。在包含 3,091 个蜕变组的捆绑基准上，LGMT 对六种广泛使用的 LLM 进行测试，揭示出 20.84% 至 29.44% 的不一致率。LGMT 已在 GitHub 上公开，地址为 此 https URL，演示视频见 此 https URL。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.32627 [cs.AI] |
| （或 arXiv:2610.32627v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32627 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zenghui Zhou [查看电子邮件]
[v1]
2026年10月23日星期五 13:41:43 UTC（766 KB）
来源：arXiv cs.AI · arxiv.org