arXiv cs.CL· Lucas H. McCabe, Sarah Lukens, H. Howie Huang·· 3 天前AI 评分25
LLM 智能体能否高效识别家电故障？来自模拟家电诊断的洞察
Can LLM Agents Efficiently Identify Appliance Faults? Insights From Diagnosing a Simulated Appliance
AI 导读
研究者提出 CoffeeBench，一个用模拟家电测试 LLM 智能体故障诊断能力的任务。被测 LLM 难以仅凭传感器信息稳定识别故障，但表现最好的模型能迭代缩小故障选项空间并最终完成诊断。分析还发现，初始诊断不确定性和 LLM 评判的推理合理性是预测诊断成功的高信号指标。
正文 · AI 翻译
摘要：在所谓的“工业 4.0”中，集成传感器、分析工具和其他数字技术补充了工业工作流程，增强了可见性和自动化能力。预测与健康管理（PHM）和自然语言处理（NLP）领域的研究者都探索了将大语言模型（LLM）应用于工业资产管理，但许多先前的工作聚焦于类似考试的基准测试，这限制了对 LLM 自动化实际操作的评估。在此，我们提出 CoffeeBench，一个针对 LLM 智能体的故障诊断任务，使用模拟电器。我们评估的 LLM 难以仅凭传感器信息持续识别故障，但表现最好的模型能够迭代细化故障选项空间，最终获得成功诊断。因此，我们后续的分析聚焦于：按诊断效率区分模型（RQ1）；检查三个最差模型的滞后表现（RQ2）；以及识别用于选择性预测的可行启发式方法（RQ3），包括初始诊断不确定性和 LLM 判断的推理合理性是诊断成功的高信号预测因子。除了我们的基准测试结果（第 3.1 节），我们还提供了在 CoffeeBench 上提升开放权重模型性能的实用见解，例如代表它们显式跟踪回合状态以减少超时（第 3.2 节），或应用审议循环来细化诊断假设（第 3.3 节）。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19291 [cs.CL] |
| （或 arXiv:2610.19291v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19291 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Lucas McCabe [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 23:12:32 UTC（337 KB）
来源：arXiv cs.CL · arxiv.org