跳到正文
arXiv·· 12 天前AI 评分31

GraphDecide:在图表任务上对 System One 模型进行基准测试

GraphDecide: Benchmarking System One Models on Graph Tasks

AI 导读

研究者提出 GraphDecide,一个与模型无关的基准,通过结构任务画像、匹配的图-文输入对比和启发式提案控制来诊断图决策性能。该基准评估了 Jev 等基于选择的模型及语言模型基线,覆盖 14 种模型-接口配置。

来源:arXiv · arxiv.org