arXiv cs.CL· Hy Nguyen, Thomas James Elton, Ella Wilson, Andrew Reeson, Cecile Paris, Josiah Poon, Jonathan K. Kummerfeld·· 10 小时前AI 评分40
VisCodeBench：面向真实场景文本到可视化生成的新基准数据集
VisCodeBench: a new benchmark dataset for Text-to-Vis reflecting real-world practice
AI 导读
VisCodeBench 是一个端到端 text-to-vis 基准，含教育、科学和大众场景共 2,672 个样本，覆盖不同复杂度。评测显示强系统基础执行已接近解决，但最佳数据相似度仅 0.81，最难子集降至 0.69；ClaudeCode-Opus-4.7 的图表正确率比 Codex-GPT-5 高约 5 分且快约 20 秒。
正文 · AI 翻译
摘要：从自然语言请求生成可视化（text-to-vis）使用户能够更高效地探索数据。虽然 LLM 可以完成简单的可视化请求，但现有基准并未充分覆盖它们在具有挑战性的请求上的表现。我们推出 VisCodeBench，这是一个端到端的 text-to-vis 基准，包含来自三个不同领域的 2,672 个样本：教育、科学和普通受众场景，复杂度各不相同。我们对三个可视化系统——Codex、Claude Code 和 LIDA——搭配一系列开源和商用 LLM 进行了基准测试，涵盖执行、图表内容和视觉质量三个方面的七项指标。虽然对于强系统而言基本执行已接近解决，但没有一个系统能够接近复现参考数据，最佳显示数据相似度仅达到 $0.81$，而在该指标上我们最难的子集上降至 $0.69$。我们进一步发现，前沿模型在图表正确性和效率上存在差异，ClaudeCode-Opus-4.7 相比 Codex-GPT-5 将图表正确性提高了约 5 个百分点，同时运行速度约快 20 秒。另外，我们发现系统设计与底层模型同样重要：尽管两者都运行在 GPT-5 上，Codex 明显优于 LIDA，这表明周围的提示、执行和优化流程对结果的影响可以与模型本身一样大。最后，延迟仍然是一个实际障碍，即使是最强的系统也需要 39-78 秒才能产生结果。VisCodeBench 可在 \href{此 https URL}{此 https URL} 获取，并通过排行榜访问；完整数据集保持私有以防止 LLM 训练使用。
| 评论： | 已被 COLM 2026 接收。此 https URL |
| 主题： | 计算与语言（cs.CL）；人机交互（cs.HC） |
| 引用为： | arXiv:2611.02353 [cs.CL] |
| （或 arXiv:2611.02353v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02353 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ngoc Gia Hy Nguyen [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 01:00:32 UTC（3,338 KB）
来源：arXiv cs.CL · arxiv.org