跳到正文
热点事件持续更新

LGMT:开源工具检测LLM推理不一致

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Zenghui Zhou、Xiaoke Fang 与 Zheng Zheng 发布开源工具 LGMT,用于检测大语言模型的逻辑推理不一致性。它针对前提-结论形式的源测试用例,生成逻辑等价的后续用例,再检查模型的蕴含预测是否前后一致,因此不需要真实标签。 LGMT 内置 20 条蜕变关系,也支持用户自定义关系,自定义关系由 Z3 定理证明器验证;工具可通过命令行或网页工作台运行,并提供无需 API 密钥的离线模拟模式。

AI 根据报道生成 · 51 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. arXiv cs.AI
    LGMT:一款测试 LLM 逻辑推理可靠性的开源工具

    LGMT 是一款开源工具,通过基于一阶逻辑的蜕变关系检测 LLM 的推理不一致性:给定前提-结论形式的源测试用例,它生成逻辑等价的后续用例并检查模型蕴含预测是否一致,无需真实标签。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。