arXiv cs.AI· Ruilin Gong, Hao Gong·· 3 天前AI 评分40
让语言成为视觉的低码率编码：从词语到像素的逐级细化
Making Language the Low-Rate Code of Vision: Successive Refinement from Words to Pixels
AI 导读
研究者提出 RUNG，一种有序视觉编码，其前缀由字幕摘要阶梯监督、全长重建图像，将字幕生成与文生图统一为逐级细化过程。在数据与容量固定下，按语言而非重建排序使前缀-字幕信息量提升 2.9 倍，GenEval 从 0.76 升至 0.83，代价是四分之一码长处 PSNR 下降 2.8 dB、全长仅降 0.1 dB。
正文 · AI 翻译
摘要：一种有序视觉编码让一个短前缀可以代表一张图像，而训练损失决定了该前缀包含什么内容。在像素重建下，前几位比特会分配给方差最大的方向，我们证明，对于在每个长度上对像素都达到率最优的编码，其整个前半部分可以独立于一个描述文本。因此在率失真意义上，描述文本并不是其图像的低率编码，除非该编码被构建成使其如此。我们研究这种构建方式及其代价。我们将图像描述和文本到图像生成视为一种在沿编码变化的失真度量下的逐次细化，从早期阶段的描述对数损失到最后的像素失真，从而使每个阶段都与自身的最优值进行比较。将文字放在前面，在描述各阶段中当描述构成一个摘要链时恰好不付出任何代价，而在像素上最多付出像素最优重建中残留的描述不确定性，这在短前缀时很大，在完整长度时很小。我们构建了 RUNG，一种有序编码，其前缀由描述的摘要阶梯监督，其完整长度重建图像；生成将编码扩展到提示词之外，而图像描述则截断它。在数据和容量固定的情况下，按语言而非重建来排序，将前缀-描述信息提高了 2.9 倍，GenEval 从 0.76 提升到 0.83，代价是在四分之一编码处测得 2.8 dB PSNR，在完整长度处为 0.1 dB。RUNG-XL（3.4B）在 32 次网络评估中达到 0.88 GenEval 和 87.6 DPG-Bench，当在错误出现的层级重新抽取错误时达到 0.91 GenEval；其粗粒度和细粒度描述有 94.1% 的时间一致，并且无需反转即可编辑图像。
| 评论： | 21 页，3 张主图，5 张主表，附补充材料 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.16552 [cs.AI] |
| （或 arXiv:2610.16552v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.16552 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hao Gong [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 10:32:49 UTC（80 KB）
来源：arXiv cs.AI · arxiv.org