arXiv cs.AI· Xin Gao, Yifan Yang, Xin Li, Pan Wang, Yan Li, Muzhao Tian, Mingxi Cheng, Bei Liu, Kai Qiu, Qi Dai, Dong Chen, Yue Dong, Leandros Tassiulas, Rex Ying, Ji Li, Chong Luo·· 3 天前AI 评分36
AesCode：用解耦跨模态奖励实现美学代码生成
AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards
AI 导读
AesCode 通过将同一提示词生成的图像作为美学引导，让代码模型生成幻灯片、海报、仪表盘等视觉产物的代码。该方法用设计图表示整个画布，并从中导出解耦的跨模态奖励：确定性验证器评估可从代码和渲染中解析的属性，VLM 评判器则用样本专属的 Visual Graph Rubric 评估不可解析属性，再通过强化学习与逐通道归一化联合优化。
正文 · AI 翻译
作者：Xin Gao、Yifan Yang、Xin Li、Pan Wang、Yan Li、Muzhao Tian、Mingxi Cheng、Bei Liu、Kai Qiu、Qi Dai、Dong Chen、Yue Dong、Leandros Tassiulas、Rex Ying、Ji Li、Chong Luo
摘要：以代码形式生成幻灯片、海报和仪表盘等信息丰富的视觉产物颇具吸引力，因为其输出结构化、可编辑且可验证。然而，代码模型无法看到它们所选择的布局与色彩在画布上如何组合，这往往限制了空间规划与美学质量。图像生成器擅长视觉设计，但可能错误呈现所要求的内容，使其输出难以作为直接复现的可靠目标。因此，我们提出 AesCode，它在内容提示的基础上生成代码，同时使用由同一提示生成的图像作为美学引导。为此，AesCode 将目标表示为一个设计图，用以描述整个画布，并使每个属性都可归因。基于该图，我们推导出互补的跨模态奖励：确定性验证器对可从代码和渲染中解析的属性进行评分，而 VLM 评判器则借助与图元素和关系绑定的、样本特定的视觉图评分标准（VGR）来评估不可解析的属性。我们通过带逐通道归一化的强化学习来优化这些解耦的奖励，从而共同提升空间规划、美学质量和可验证的正确性。为评估这一设定，我们构建了一个基准，分别对可验证正确性和视觉质量进行评分，其视觉得分与人类判断高度一致。我们发现，参考图像能显著提升现有模型所生成代码的视觉质量，而消融实验表明，AesCode 既受益于将参考图像作为模型输入，也受益于将其作为视觉奖励的来源。相对于在相同参考图像下同等规模的 Qwen3-VL 基线，AesCode-8B 和 AesCode-32B 的视觉质量分别提升了 31.1 和 22.4 个百分点，达到与 GPT-5.5 和 Claude Opus 4.8 等闭源前沿模型相当的水平。
| 评论： | 44 页，18 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.18860 [cs.AI] |
| （或 arXiv:2610.18860v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18860 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xin Gao [查看邮箱]
[v1]
2026年10月13日星期二 17:59:31 UTC（9,828 KB）
来源：arXiv cs.AI · arxiv.org