arXiv cs.CL· Haoquan Zhang, Feiyang Liu, Juanxi Tian, Wanhua Li, Haodong Duan, Weiyang Liu·· 10 小时前AI 评分34
PixelBench：LLM 能否逐像素理解与生成图像？
PixelBench: Can LLMs Understand and Generate Images Pixel by Pixel?
AI 导读
研究者提出 PixelBench，用于评测 LLM 的文本到像素（T2P）与图像到像素（I2P）生成及像素理解能力，模型需先输出 RGB 调色板再给出逐像素索引网格。
正文 · AI 翻译
摘要：大型语言模型（LLM）可以通过 SVG 和 CAD 等基于文本的格式生成视觉资产，但这些符号化表示使用高层图元来描述图像，而非显式的栅格值。我们探究 LLM 能否不借助学习到的图像分词器或解码器，而是直接通过其现有词表生成像素图像。我们提出了 PixelBench，这是一个跨多种分辨率的文本到像素（T2P）和图像到像素（I2P）生成基准，并附带一项互补的像素理解评估。模型先生成一个 RGB 调色板，然后生成一个索引网格，指定每个输出像素对应的调色板颜色。在 T2P 中，最强的模型能够直接从文本生成可识别的图像。在 I2P 中，最强的模型在低分辨率下优于调色板匹配的下采样和专用像素化算法。像素理解性能与生成性能高度相关。一项分辨率缩放研究表明，像素生成性能通常先提升，随后在高分辨率下下降。最后，我们提出了像素重建微调（PRT），它通过标题-调色板-网格轨迹来增强视觉指令微调。我们从预训练检查点出发，将通用指令数据与我们精选的 PRT 数据混合，对 Molmo2-4B 进行后训练，在 16 个以视觉为中心的基准上提升了性能，这表明显式的像素重建可以提供有用的辅助监督。
| 评论： | 技术报告，38 页，7 幅图。项目页面：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.02540 [cs.CV] |
| （或 arXiv:2611.02540v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02540 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Haoquan Zhang [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 05:10:12 UTC（20,500 KB）
来源：arXiv cs.CL · arxiv.org