arXiv cs.AI· Jingyan Jiang, Akhilesh Bondapalli, Krishna Rauniyar, Murat Keceli, Yasaman Ghadar, Haritha Siddabathuni Som, Venkatram Vishwanath, Michael E. Papka, Rong Ge, Huihuo Zheng·· 1 天前AI 评分31
AskALCF：面向 HPC 用户支持的自我改进智能体系统
AskALCF: A Self-Improving Agentic System for Intelligent HPC User Support
AI 导读
AskALCF 是一套面向 HPC 用户支持的智能体日志分析与改进流水线，可细粒度评估生产交互并把失败归因到缺失知识、检索、提示词、模型行为或工具执行，再路由到可执行修复。在 2,174 条支持对话上，它将无法归因的失败从 41.4% 降至 14.2%；受控 harness 训练让专家一致率从 108/150 提升到 123/150。
正文 · AI 翻译
摘要：基于 AI 的问答系统越来越多地用于用户支持，包括在高性能计算（HPC）设施中。然而，现有系统缺乏一种系统化、面向部署的方法来评估最终答案质量并将故障归因于特定组件。除定期的知识库更新外，它们在部署后也基本保持静态。
我们提出 AskALCF，一个面向 HPC 用户支持的智能体日志分析与改进流水线。AskALCF 在细粒度层面评估生产交互，识别故障是源于知识缺失、检索、提示、模型行为还是工具执行，并将每个故障路由到可操作的修复。其诊断核心将答案质量评估与双范围充分性测试相结合，该测试区分文档语料库中缺失的信息与存在但未被检索到的信息。我们进一步引入受控的 harness 训练过程，利用专家参考、空编辑以及明确的 ship、revert 或 decline 决策来可靠地改进诊断流水线。
在 2,174 个支持轮次中，AskALCF 将不可归因故障从 41.4% 降至 14.2%，同时 harness 训练将专家一致率从 108/150 轮提升至 123/150 轮。这些结果展示了一种受治理的自我演化形式，其中生产证据驱动有针对性的系统改进。通过将生产交互转化为细粒度诊断和可操作的修复，AskALCF 为持续改进已部署的 AI 支持系统提供了系统化基础，而不仅限于知识库更新。
| 评论： | 12 页，5 幅图。已被 HUST 2026（第 13 届 HPC 用户支持工具国际研讨会）接收，与 SC26 联合举办，美国伊利诺伊州芝加哥，2026 年 11 月 15 日。最终稿 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| ACM 分类： | I.2.7, H.3.3, C.2.4 |
| 引用为： | arXiv:2611.15700 [cs.SE] |
| （或 arXiv:2611.15700v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.15700 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jingyan Jiang [查看邮箱]
[v1]
2026 年 11 月 11 日星期三 16:38:54 UTC（648 KB）
来源：arXiv cs.AI · arxiv.org