arXiv cs.AI· Devin Yasith De Silva, Dhaval Patel, Christodoulos Constantinides, Shuxin Lin, Nianjun Zhou, Dharmashankar Subramanian, Paul J Adams, Sal Rosato, Nicolas Constantinides, Deborah L. McGuinness, Jayant Kalagnanam·· 14 小时前AI 评分31
DiagnosticIQ：基于符号规则的 LLM 工业维护动作推荐基准
DiagnosticIQ: A Benchmark for LLM-Based Industrial Maintenance Action Recommendation from Symbolic Rules
AI 导读
研究者发布 DiagnosticIQ 基准，含 6690 道多选题，由 16 类资产的 118 组专家规则-动作对生成，用于评测 LLM 将符号规则转化为维护动作的能力。基准测试 29 个 LLM 与 4 个嵌入基线，前三名模型 Macro 分差在 1 分以内、规则级检验下不可区分。但在干扰项扩展下领先模型掉 13.8 Macro 分，条件反转时仍选原答案的比例达 63%。
正文 · AI 翻译
作者：Devin Yasith De Silva、Dhaval Patel、Christodoulos Constantinides、Shuxin Lin、Nianjun Zhou、Dharmashankar Subramanian、Paul J Adams、Sal Rosato、Nicolas Constantinides、Deborah L. McGuinness、Jayant Kalagnanam
摘要：监控复杂的工业资产依赖于工程师编写的符号规则，这些规则在传感器条件触发时提示技术人员执行纠正措施。瓶颈不在于检测，而在于响应：将规则转化为维护步骤需要多年实践积累的资产特定知识。我们研究 LLM 能否在这一从规则到行动的步骤中充当决策支持，并推出 \ours{}，这是一个包含 6{,}690 道多项选择题的基准，题目由 118 对专家编写的规则-行动对生成，覆盖 16 种资产类型，并由专家审查生成提示的布局和对话流畅性。我们的贡献包括：(i) 一个符号到 MCQA 的流水线，将规则规范化为析取范式，并采用基于嵌入的干扰项采样；(ii) 五个变体，用于探查不同的失败模式（Pro、Pert、Verbose、Aug、Rationale）；以及 (iii) 一个包含 29 个 LLM 和 4 个嵌入基线的基准。人工评估（9 名从业者，平均 45.0\%）证实 \ours{} 需要超出操作经验的专家知识。有三项发现尤为突出：前沿已经趋同，排名前三的 LLM 差距在一个 Macro 点以内，且在规则级测试下无法区分。然而 \ours{}\,Pro 暴露出脆弱性，领先模型在干扰项扩展下损失 13.8 个 Macro 点，较小模型损失超过 60\% 的准确率。\ours{}\,Aug 暴露出模式匹配问题：在条件反转下，领先模型仍有 63\% 的时间选择原始答案。前沿模型能处理模板式故障检测，但在结构扰动下会失效。
| 评论： | 48 页，27 张表，24 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.08614 [cs.AI] |
| （或 arXiv:2605.08614v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.08614 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Dhaval Patel Dr [查看电子邮件]
[v1]
2026 年 5 月 9 日星期六 02:17:39 UTC（6,633 KB）
[v2]
2026 年 10 月 24 日星期六 19:43:24 UTC（3,908 KB）
来源：arXiv cs.AI · arxiv.org