跳到正文
arXiv cs.AI· Junyu Huo, Zihao Wan, Ziqi Mao, Gouri Ginde·· 1 天前AI 评分31

TetraState:面向学习型世界模型的回归测试协议与测试框架版本化

One Verdict Is Not Enough: Regression Testing Learned World Models and Their Test Harnesses

AI 导读

研究者提出 TetraState 回归测试协议,针对配对的可实现/不可实现视频测试,在四种模型原生配置下运行并统计判定率、不确定测试与执行失败。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:学习型世界模型以软件组件的形式发布,其模型版本、预处理和测试框架会随版本更新而变化。关于模型更新的工作已经统计了逐样本回归,即负翻转,而准确率检查会掩盖这些回归。仍有两个问题:测试在一种配置下可以通过,在另一种配置下却会失败;测试框架故障可能在不崩溃的情况下产生错误分数和错误判定。我们提出 TetraState,一种针对成对可能/不可能视频测试的回归测试协议。每个测试在四种固定的模型原生配置下运行;其正确判定数量对应四种结果类别之一。无结论测试和执行失败与判定率分开报告。修订版本通过逐测试的结果转换进行比较,测试框架作为被测系统的一部分进行版本管理。在全部 506 个 IntPhys 2 Main 测试和两个异构系统 Cosmos 3 Nano 与 V-JEPA 2 上,两个 V-JEPA 2 测试框架修订版仅使众数准确率变化 0.2 和 2.6 个百分点,却改变了 11 和 214 个测试标签;在第二个修订版中,准确率上升,但被正确判定的测试反而更少,且有 43 个回归仍保持众数判定,因此众数判定翻转检查会漏掉它们。这些结果勾勒出一项关于学习型组件配置级回归判据的研究议程。
主题: 软件工程 (cs.SE);人工智能 (cs.AI);计算机视觉与模式识别 (cs.CV)
引用为: arXiv:2610.41130 [cs.SE]
  (或 arXiv:2610.41130v1 [cs.SE] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.41130

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Junyu Huo [查看电子邮件]
[v1] 2026年10月30日星期五 01:36:37 UTC(32 KB)

来源:arXiv cs.AI · arxiv.org