arXiv cs.CL· Lorenzo Masoero·· 23 小时前AI 评分36
TriAgent:面向文档维护的多智能体系统在 43 天影子运行中分诊 499 张工单
Mind the Gap: A Deployed Multi-Agent System for Documentation Maintenance
AI 导读
研究团队部署了以分诊智能体 TriAgent 为核心的多智能体系统,用于持续提取显式与隐式信号并修复文档漂移。43 天影子运行中系统分诊 499 张工单、发现 92 处文档缺口,独立模型家族的 LLM 评审小组判定其可验证断言 81.1%(245/302)正确;在长度可比的回答对上,评审小组 70.5% 偏好 TriAgent、23.2% 偏好人类工程师。
正文 · AI 翻译
摘要:“AI 革命”使技术行业的团队能够以前所未有的速度交付软件功能。虽然代码的演进速度比以往任何时候都快,但面向客户的文档往往难以跟上。随着用户越来越依赖以文档作为主要接口的基于 LLM 的智能体,这一文档缺口的负面影响愈发严重:过时的信息会传播开来,并被当作权威内容。用于识别文档在何处落后的信号其实大量存在,既有显式的(例如已解决的工单揭示了文档缺少什么),也有隐式的(例如可通过自动化循环检测到的代码与文档不一致)。我们部署了一个多智能体系统,其核心是一个我们称为“TriAgent”的分诊智能体,它持续提取这些信号并修复文档漂移。在 43 天的影子模式运行中,我们的系统分诊了 499 张工单,并发现了文档中的 92 处缺口。使用来自独立模型家族的 LLM 评审小组,TriAgent 可验证断言中有 81.1% 是正确的(人类解决方案涉及的 302 条断言中有 245 条正确;三位评审中多数同意);在长度相当的配对中,评审小组在 70.5% 的配对中更偏好 TriAgent 的回答,在 23.2% 的配对中更偏好人类工程师的回答(其余配对没有评审多数意见)。重要的是,智能体来源和人类来源的回复往往互补,人类常常揭示出要么埋没在现有文档中、要么完全缺失的洞见;我们的系统将每一条此类洞见转化为一个文档缺口,并在人工审核后转化为一次修复。修复一个缺口可 measurably 改善智能体之后的回答:当智能体在修复后重新回答同一张工单时,盲审评审在 71.4% 的情况下更偏好修复后的回答而非其自身修复前的回答(n=35)。一项盲审人工审计确认了在自我改进方面的高度一致性。
| 评论: | 已被 IAAI-27(AI 创新应用,与 AAAI 2027 合办)Emerging Applications 赛道接收。12 页(6 页正文 + 参考文献和附录),2 幅图,6 张表 |
| 主题: | 软件工程(cs.SE);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.23142 [cs.SE] |
| (或 arXiv:2611.23142v1 [cs.SE] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23142 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Lorenzo Masoero [查看邮箱]
[v1]
2026 年 11 月 17 日星期二 17:59:13 UTC(45 KB)
来源:arXiv cs.CL · arxiv.org