arXiv cs.AI· Dowling Wong·· 10 小时前AI 评分34
如何评估受治理的 LLM 驱动 ML 实验:生命周期、溯源与失败指标
Evaluating Governed LLM-Driven ML Experimentation: Lifecycle, Provenance, and Failure Metrics
AI 导读
研究者提出按实验过程而非仅最佳分数来评估自主 ML 实验智能体,并构建了由控制平面掌管每次试验生命周期、校验编辑范围、决定保留或丢弃并写入仅追加账本的治理框架。
正文 · AI 翻译
摘要:运行机器学习实验的自主智能体通常以其达到的最佳分数来评判。该分数无法说明它是如何达到的:智能体是否停留在允许编辑的文件范围内,失败的试验是被保留还是被悄悄丢弃,以及每一次保留或丢弃的决定能否追溯到其证据。我们提出对此类系统的实验过程与结果一并评估,并构建了一个使这成为可能的受治理执行框架。一个控制平面(而非提出更改的 LLM)掌管每次试验的生命周期,检查其编辑范围,决定保留或丢弃,并向仅追加账本中为每次试验追加一条记录。诸如无效操作率、重复错误率和来源完整性等治理指标均从该账本计算得出。在从合成逻辑回归到语言模型训练的六项 ML 任务、共 1,445 次试验中,同一契约原样适用。账本揭示了任务分数所掩盖的失败:一个无记忆分支中全部 120 次试验均失败,一个基准适配器的有界提案耗尽,以及一次由可复现性哈希揭示的重置失败,此后受影响的实验活动被重新运行。在匹配的反事实中,仅记录成功试验的循环对 50 次试验中的 43 次没有留下任何记录,而受治理的账本记录了全部 50 次。记忆消融实验表明,记忆对重复错误提案的影响取决于任务。我们发布了全部 1,445 次试验的账本,以便其中报告的每个数字都可重新计算。
| 评论: | 22 页。发表于 KDD 2026 智能体 AI 评估与可信度研讨会(ETAAI;非存档)。代码与试验账本:此 https URL(DOI https://doi.org/10.5281/zenodo.24174991) |
| 主题: | 人工智能(cs.AI);机器学习(cs.LG);软件工程(cs.SE) |
| 引用为: | arXiv:2611.23678 [cs.AI] |
| (或 arXiv:2611.23678v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23678 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Dowling Wong [查看电子邮件]
[v1]
2026 年 11 月 18 日星期三 01:06:35 UTC(230 KB)
来源:arXiv cs.AI · arxiv.org