arXiv cs.AI· Yeyin Eva Zhu, Rishabh Ranawat·· 11 小时前AI 评分31
RTL 修复基准到底测了什么？RTLRepairBench 揭示两项测量混淆
What Do RTL Repair Benchmarks Actually Measure?
AI 导读
研究构建 RTLRepairDataset（5,784 对 broken/fixed 训练样本）与 RTLRepairBench（459 个留出案例，含 374 个语法变异和 85 个行为变异），并配套支持仿真与形式等价验证的评测框架。
正文 · AI 翻译
摘要：RTL 修复基准应衡量模型能否在给定规格的情况下修复损坏的 RTL。为此，我们构建并哈希绑定了 RTLRepairDataset，包含 5,784 个（损坏、修复）训练对；RTLRepairBench，包含 459 个留出案例，其中有 374 个语法变异和 85 个行为变异；以及一个支持仿真和形式等价性的评估框架。随后，我们利用该基础设施识别出两个测量混杂因素。第一，在一个被评估队列中，仿真评分和形式评分对提供规格的表观效应给出了相反的符号；重置感知的重新评分将几乎所有的仿真-形式分歧归因于重置和首周期比较语义。第二，在 274 个挖掘出的模型失败案例上，仅规格减去规格条件下的恢复点估计在六个模型中范围为 -8.5 到 +18.3 个百分点。因此，常规修复分数未必能分离出模型是否使用了有缺陷的 RTL。我们将这些发现转化为评估控制措施：报告初始化、重置、首周期和未知值语义；披露 oracle 覆盖率和未决案例；并纳入仅规格基线。这些资源和审计共同既提供了行为修复的基准，也提供了诊断其测量分数成因的协议。我们在此 https URL发布了基准、训练集、构建代码、脱敏聚合证据和复现材料。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.28595 [cs.AI] |
| （或 arXiv:2610.28595v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28595 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yeyin Zhu [查看电子邮件]
[v1]
2026年10月20日星期二 17:45:57 UTC（135 KB）
来源：arXiv cs.AI · arxiv.org