arXiv cs.AI· Elham J. Barezi, Primus C Kabuo, Niveditha Nerella·· 11 小时前AI 评分23
用 Agentic LLM 助手把 HPC 用户支持建立在文档与已解决工单之上
Before the Ticket: Grounding HPC User Support in Documentation and Resolved Tickets with an Agentic LLM Assistant
AI 导读
研究团队构建了一个基于 Model Context Protocol 的 HPC 帮助台助手，通过编排器调用两个工具：对实时文档做 RAG 检索，以及用 QLoRA 在 11,244 条历史工单查询-解决对上微调的 Llama-3-8B，并合并两者答案。
正文 · AI 翻译
摘要：提交到 HPC 帮助台的大多数问题，其实早已在中心的用户指南或上学期其他人提交的工单中得到解答；用户仍会提交新工单，是因为指南难以浏览，而工单历史又不归他们搜索。我们提出一个能同时从这两个来源作答的助手：一个编排器通过 Model Context Protocol 调用两个工具——对实时文档进行检索增强生成（RAG），以及一个用 QLoRA 在从历史工单中挖掘出的 11,244 个查询-解决方案对上微调的 Llama-3-8B 模型——并合并它们的答案。所有模型都在本地运行或运行在大学的托管 LLM 服务上，因为工单数据不得离开该机构。在来自 Purdue 的 Rosen Center for Advanced Computing 的 400 张留出工单上（与训练集不相交且不含近似重复项），并由两个来自未生成任何答案的模型家族的评判者评估，将解决方案改写为自助式指导后进行微调是明显的赢家，与 RCAC 的解决方案一致性最高（BERTScore F1 从基座模型的 0.06 提升到 0.27），且平均被判为最正确。端到端系统并未超越其工具，尽管二者互补：为每个问题选择更好的答案会超过任一工具（判定正确性 3.41 对 3.20，一个 oracle 上界），而合并结果在 78% 的答案中跟随文档工具。改为返回单个工具的答案可恢复微调工具的质量（3.19 对 2.66），但无论是学习型选择器还是 LLM 验证器都未能超越该工具本身。
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.31703 [cs.SE] |
| （或本版本的 arXiv:2610.31703v1 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2610.31703 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Elham J. Barezi Ms [查看邮箱]
[v1]
2026年10月21日周三 19:01:41 UTC（383 KB）
来源：arXiv cs.AI · arxiv.org