arXiv cs.AI· Guillaume Olivier Delplanque (TYREX), Pierre Genev\`es (TYREX), Nabil Laya\"ida (TYREX)·· 12 小时前AI 评分31
超越准确率：衡量预测模型的逻辑合规性——Rule Violation Score (RVS) 评估指标
Beyond Accuracy: Measuring Logical Compliance of Predictive Models
AI 导读
研究提出 Rule Violation Score（RVS），一种独立于预测准确率的补充评估指标，用于量化预测模型对给定逻辑规则的遵守程度。RVS 区分硬规则（严格约束）与软规则（统计规律），可对任意数据集和基于关系词汇表的预测模型计算，并能为 Horn 规则自动生成 SQL 查询完成计算。在知识图谱链接预测与关系回归三个基准上的实验显示，预测准确率相当的两个模型逻辑合规性可能差异显著。
正文 · AI 翻译
摘要：机器学习模型主要通过排序质量、预测误差或分类准确率等预测性能指标进行评估。这些指标虽然能有效衡量预测与真实值之间的接近程度，却无法评估模型输出是否遵循预定义的逻辑约束或领域特定约束。在医疗、金融和自主系统等高风险应用中，逻辑一致性可能与预测准确率同样关键，但目前尚无标准指标能够捕捉这一维度。我们提出规则违反分数（Rule Violation Score，RVS），这是一种补充性评估指标，可独立于预测准确率，量化预测模型对给定逻辑规则集的遵循程度。RVS 对硬规则（严格约束）和软规则（统计规律）区别对待，可在任何数据集上、对任何以关系词汇表表达的预测模型进行评估，并且可借助为 Horn 规则自动生成的 SQL 查询来计算。除评估模型外，RVS 还能评估训练数据集的逻辑一致性，并帮助识别定义不当的规则。我们在三个基准上评估 RVS，涵盖知识图谱链接预测和关系回归，包括基于规则、基于嵌入和神经符号的预测模型。结果表明，两个预测准确率相当的模型可能表现出显著不同的逻辑合规水平，揭示了标准指标无法捕捉的模型行为差异。
| 学科： | 人工智能（cs.AI）；数据库（cs.DB）；神经与进化计算（cs.NE） |
| 引用为： | arXiv:2606.20208 [cs.AI] |
| （或本版本的 arXiv:2606.20208v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2606.20208 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Can We Trust AI Evaluation? Robustness, Causality, and Risk in Modern AI Assessment Workshop - NeurIPS 2026, Sydney, Australia, Dec 2026, Sydney (Australia), Australia |
提交历史
来自：Tyrex Equipe [查看邮箱] [通过 CCSD 代理]
[v1]
2026年6月18日 星期四 13:21:04 UTC（23 KB）
[v2]
2026年10月21日 星期三 17:50:41 UTC（49 KB）
来源：arXiv cs.AI · arxiv.org