arXiv cs.AI· Tianyou Lai, Wentao Yue, Hongji Li, Chaoyuan Hao, Qilei Li·· 4 小时前AI 评分31
研究提出修正审计协议:低伤害未必代表更好的概念修正
When Lower Harm Misleads: Auditing Concept Corrections
AI 导读
研究提出“修正审计”评估协议,将每次修正拆分为伤害与有用增益,并在三个乳腺超声数据源上验证:最坏情况修正训练虽降低伤害,却在全部 21 组源对比中损失更多有用增益并抬高修正后 NLL。
正文 · AI 翻译
摘要:一位纠正概念预测(例如乳腺超声中的 BI-RADS 描述符)的专家期望诊断得到改善。用于降低此类纠正危害的目标由危害和准确率来评判,然而当模型对每一次纠正的响应变弱,或从更差的未纠正预测(即危害的参照基准)出发时,危害也会下降。我们提出纠正审计,一种可复现的评估协议,用于区分这些解释:它将每次纠正拆分为相同事件上的危害与有用增益,将起始预测与纠正响应分离,并在源危害匹配的幅度基线下比较各目标。在三个乳腺超声数据源上,从均值情形模型的起点评估最坏情形纠正训练,在汇总六个随机种子的全部 21 项源比较中降低了危害,但放弃了更多有用增益,使纠正后的负对数似然(NLL)升高;从同一起点出发,按危害在各目标之间进行选择,在全部三个数据源上都选中了帮助较小的模型。在 CUB 上,按其报告权重施加的单调危害惩罚在全部 80 个概念集上降低了路径级危害,同时在全部 80 个概念集上提高了 NLL,且几乎全部发生在任何纠正之前。在固定起点下,将两种响应重新缩放至相同的源危害,可在 0.0005 nat 的预设裕度内复现该惩罚在单概念纠正上的平均危害、有用增益和 NLL,尽管两种响应指向不同方向。因此,只有当危害与有用增益、绝对风险以及其测量起点结合解读时,较低的危害才意味着更好的纠正。
| 主题: | 人工智能(cs.AI);计算机视觉与模式识别(cs.CV) |
| 引用为: | arXiv:2611.22084 [cs.AI] |
| (或本版本的 arXiv:2611.22084v1 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2611.22084 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Tianyou Lai [查看邮箱]
[v1]
2026年11月17日星期二 02:10:17 UTC(382 KB)
来源:arXiv cs.AI · arxiv.org