arXiv cs.CL· Donghwan Kim·· 6 天前AI 评分44
LLM 作为工业故障诊断工具上层集成层时为何未能实现互补优势
When LLMs Sit Above Diagnostic Tools: Unrealized Complementarity in Industrial Fault Diagnosis
AI 导读
研究在五个诊断数据集（轴承振动、过程监控、半导体设备）上测试 LLM 能否可靠利用外部诊断信息，结果所有数据集中冲突的外部信息都推翻了 LLM 原本正确的判断。
正文 · AI 翻译
摘要：大语言模型越来越多地被用作专用工具之上的集成层，但更强的组件并不一定产生更强的组合系统。在五个诊断数据集（轴承振动、过程监控、半导体设备）上，我们研究 LLM 能否可靠地使用外部诊断信息；成对的重复调用将建议效应与输出不稳定性区分开来。在所有五个数据集中，冲突的外部信息推翻了 LLM 最初正确的判断。在四个具有直接集成比较的数据集中，没有一个显示隐式 LLM 集成相对于更强的独立来源具有一致优势。在一个协议在评估前已固定的 Tennessee Eastman 确认集上，无辅助准确率为 64.67%，隐式 LLM-专家集成为 77.43%，而专家单独为 83.33%。专家信息使 LLM 提高了 12.8 个百分点（95% 区间 9.7 至 15.9），但集成输出仍比专家低 5.9 个百分点（95% 区间 -12.0 至 -0.7）。一个双源选择器 oracle 达到 92.76%，表明集成输出未能完全实现的互补性。集成输出漏掉了 295 个专家纠正中的 140 个（47.5%），但丢失了 99 个最初正确的 LLM 判断中的 15 个（15.2%）。在提示和专家敏感性分析下，这一差距仍然存在。在两种证据呈现方式下均解决的 CWRU 案例中，任务对齐的物理证据在七个模型中的六个中产生了对错误建议易感性的更低估计（五个区间不包含零）；更高的推理努力在五个模型中没有带来可靠降低，而一个单独的四模型 TEP 分析没有给出明确证据表明它解决了集成问题。来源质量和集成质量应分别评估：集成层应与其更强的独立组件比较，而不仅仅与无辅助的 LLM 比较。
| 评论： | 34 页，5 幅图 + 1 幅附录图 |
| 主题： | 计算与语言（cs.CL）；系统与控制（eess.SY） |
| 引用为： | arXiv:2610.05031 [cs.CL] |
| （或 arXiv:2610.05031v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.05031 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Donghwan Kim [查看电子邮件]
[v1]
2026 年 10 月 4 日星期日 07:51:31 UTC（289 KB）
[v2]
2026 年 10 月 8 日星期四 18:20:18 UTC（275 KB）
来源：arXiv cs.CL · arxiv.org