arXiv cs.AI· Xianliang Yang, Yapu Zhang, Li Zhao·· 6 天前AI 评分22
GraphDecisionBench：在图表任务上评测 System One 模型
GraphDecisionBench: Benchmarking System One Models on Graph Tasks
AI 导读
研究者提出 GraphDecide，一个与模型无关的基准，通过结构化任务画像、匹配的图-文输入对比和启发式提案控制来诊断图决策性能，并评测了 Jev 等基于选择的模型与语言模型基线，覆盖十四种模型-接口配置。Jev 的结果显示：准确的邻接识别并不保证更广泛的结构正确性，图-文联合输入并不总能提升预测，可行构造也不代表高解质量。代码与汇总结果已公开。
正文 · AI 翻译
摘要：大语言模型（LLM）正越来越多地被用于图理解与决策，而诸如 Jev 之类的 System One 模型则直接从给定选项中选取。然而，System One 模型在图相关任务上的能力仍不明确。我们提出 GraphDecide，一个与模型无关的基准，它结合了结构化任务画像、匹配的图-文本输入对照以及启发式提案控制，用以诊断图决策性能。我们评估了 Jev 及相关基于选择的模型，并与语言模型基线进行对比，涵盖十四种模型-接口配置。Jev 的结果体现了该基准的核心区分：准确的邻接识别并不能保证更广泛的结构正确性，图-文本联合输入并不能持续提升预测，可行的构造并不能确立高解质量。其任务契约、候选接口与评分规则支持在原生选择器与语言模型适配器之间进行比较。代码与汇总结果见 this https URL。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.06354 [cs.AI] |
| （或 arXiv:2610.06354v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.06354 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xianliang Yang [查看邮箱]
[v1]
2026年10月5日星期一 13:54:03 UTC（889 KB）
[v2]
2026年10月9日星期五 11:26:31 UTC（867 KB）
来源：arXiv cs.AI · arxiv.org