arXiv cs.AI· James Sadler, Rotimi Alabi, Kotub Uddin·· 4 小时前AI 评分31
EJBench:基于共轭传热设计活动的工程判断力基准
Bookkeeping Is Not Judgement: EJBench, an Engineering Judgement Benchmark Built from a Conjugate Heat Transfer Design Campaign
AI 导读
研究者发布 EJBench,一个与软件无关的工程判断力基准,考察模型能否从少量已有结果预测设计在新工况下的表现并做出决策。任务源自电池冷板的共轭传热设计活动,答案均取自收敛的仿真结果而非 LLM 评判;十个前沿模型中表现最好的 GPT-6 Astra 得分为 0.71,且模型在答错任务上的置信度与答对时几乎相同。
正文 · AI 翻译
摘要:我们推出 EJBench,一个工程判断基准:模型能否根据少量先前结果预测设计在新条件下的表现,并据此做出决策。与测试智能体能否操作仿真或 CAD 软件的工程基准不同,EJBench 不依赖特定软件,考察的是工程师在不运行仿真的情况下会得出什么结论。其任务来自一项针对电池冷板的共轭传热设计活动,分为三类:将未标注的测试结果与其工况点匹配、在签署设计前选择揭示哪些已存储的运行结果、按峰值电芯温度对新任务排序。每个答案都取自收敛的仿真结果,而非 LLM 评判。十个前沿模型中表现最好的 GPT-6 Astra 得分为 0.71,且模型在答错任务上给出的置信度与答对任务上几乎相同。我们还用 LoRA 和强化学习对 Qwen3.5-9B 进行后训练,奖励依据是仿真结果确认的答案标准所占比例;在留出测试集上,其得分从 0.071 升至 0.106。我们发布了训练、验证和测试集划分、评估工具和排行榜。
| 评论: | 23 页 |
| 主题: | 计算工程、金融与科学(cs.CE);人工智能(cs.AI);计算与语言(cs.CL);机器学习(cs.LG) |
| 引用为: | arXiv:2611.21707 [cs.CE] |
| (或本版本的 arXiv:2611.21707v1 [cs.CE]) | |
| https://doi.org/10.48550/arXiv.2611.21707 由 DataCite 颁发 arXiv DOI(待注册) |
提交历史
来自:James Sadler [查看邮箱]
[v1]
2026 年 11 月 16 日星期一 16:41:07 UTC(2,594 KB)
来源:arXiv cs.AI · arxiv.org