arXiv cs.AI· Langxi Huang, Pingping Zhang, Lanyun Zhu, Chunyang Jiang, Jiawei Shao, Haocheng Yuan, Peilin Chen·· 10 天前AI 评分27
ChartBmkAgent：以 harness 治理的多智能体从稀疏错误分类规范构建 Chart QA 基准
ChartBmkAgent: Harness-Governed Multi-Agent Construction of Chart QA Benchmarks from Sparse Error-Taxonomy Specifications
AI 导读
ChartBmkAgent 能从稀疏错误分类规范出发，构建完整 Chart QA 样本来把已识别的能力缺口转化为针对性诊断证据，由中心 harness 治理各专用智能体并记录每次验收依据。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）发展迅速，而传统基准的开发却相对滞后，延误了对新观察到的能力差距的研究。此类研究需要一种富有表现力的任务格式和按需构建流程：信息丰富的图表使图表问答（Chart QA）适合用于探究感知与推理的耦合。自动化 Chart QA 构建旨在通过将已识别的差距按需转化为针对性样本来缩短基准开发周期。然而，当前方法通常将目标引导与从零生成分离：目标引导系统往往需要预先准备的数据、图表或模板，而从零生成系统主要确保产物有效性，并未明确控制新合成的要求和内容是否与外部指定的诊断目标保持一致。我们提出 ChartBmkAgent，它通过从稀疏的错误分类规范构建完整的 Chart QA 样本，将已识别的能力差距转化为针对性的诊断证据。在整个构建过程中，一个中央管控框架管理专门的智能体，要求提供与原始错误类别对齐的阶段特定证据，并记录每个接受决策的依据。在 300 个覆盖整个分类体系的样本上，MLLM 准确率从 32.7% 到 84.3% 不等，且各类别分布特征明显，表明生成的样本能够揭示能力差异。在三次源模型比较中，针对性后续问题在匹配对照上的得分为 50.0% 对 82.2%（$p=8.96\times10^{-6}$）；全部六次跨模型比较方向一致，证明了针对性验证和诊断数据生成的有效性。多个评估模型评估了每个样本是否测试了其指定的错误类别；86.4% 符合该标准，为目标保持提供了实证证据。
| 评论： | 9 页，2 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.08106 [cs.AI] |
| （或 arXiv:2610.08106v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08106 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Langxi Huang [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 10:31:28 UTC（357 KB）
来源：arXiv cs.AI · arxiv.org