跳到正文
arXiv cs.CL· Jiayu Feng·· 2 天前AI 评分31

GT-FENG:语言模型事实评估与规范依据的通用理论框架

GT-FENG: General Theory of Factual Evaluation and Normative Grounding in Language Models *Author(s)

AI 导读

GT-FENG 是首个统一法律、政策等规则领域上下文/时间正确性与规则化错误归因的通用框架,可对照适用规则检查答案并找出与错误答案匹配的成文规则。在两项模型的 Medicaid 收入上限问答中,记录被问州的自身规则后,仅匹配其他州数值的错误答案减少 68-78%,且过半稳定错误答案随后匹配两个及以上成文来源。该框架以开源 Python 包 gtfeng 发布。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:语言模型的答案是否正确往往取决于上下文:同一个数值在某一司法辖区、日期或法律定义下可能是正确的,而在另一情形下则是错误的。我们提出 GT-FENG(事实评估与规范依据的一般理论),这是首个统一法律、政策及其他受规则约束领域中上下文/时间正确性与基于规则的错误归因的通用框架。GT-FENG 依据适用规则检查答案,并识别出与错误答案相匹配的已记录规则。它表明,当多条规则给出相同数值时,仅凭答案无法判断模型使用了哪条规则。在两个模型给出的 Medicaid 收入上限答案中,记录被询问州自身的记录可使仅与其他州数值匹配的错误答案数量减少 68-78%,而此后超过半数的稳定错误答案会与两个或更多已记录来源相匹配。GT-FENG 为在受规则约束的领域中评估语言模型以及未来的基准和评估工具包提供了基础。我们以开源 Python 包 gtfeng 的形式发布 GT-FENG。
评论: 7 页,4 张表。代码:此 https URL
主题: 计算与语言(cs.CL)
引用为: arXiv:2611.18279 [cs.CL]
  (或 arXiv:2611.18279v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.18279

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Jiayu Feng [查看电子邮件]
[v1] 2026 年 11 月 13 日星期五 15:11:11 UTC(28 KB)

来源:arXiv cs.CL · arxiv.org