arXiv cs.CL· Qiushi Sun, Jingyang Gong, Yang Liu, Qiaosheng Chen, Zhangyue Yin, Zixian Huang, Hanxu Hu, Jing Xiong, Fangzhi Xu, Haochen Tan, Haoli Bai, Lifeng Shang, Xiaoguang Li, Ben Kao, Qipeng Guo, Lingpeng Kong, Jiahui Gao·· 3 天前AI 评分62
PrismaCoder:用分解式评分标准合成数据推进开源多模态代码智能
PrismaCoder: Pushing the Boundaries of Open Multimodal Code Intelligence through Decomposed Rubric Synthesis
AI 导读
论文提出 PrismaForge 分层数据流水线,以合成的评分标准把程序正确性、构建质量和渲染后的视觉正确性拆解为可检查的准则,同一套评分标准既用于筛选监督语料,也用于驱动视觉编码任务的强化学习。
正文 · AI 翻译
作者:Qiushi Sun、Jingyang Gong、Yang Liu、Qiaosheng Chen、Zhangyue Yin、Zixian Huang、Hanxu Hu、Jing Xiong、Fangzhi Xu、Haochen Tan、Haoli Bai、Lifeng Shang、Xiaoguang Li、Ben Kao、Qipeng Guo、Lingpeng Kong、Jiahui Gao
摘要:多模态代码智能将程序的符号世界与其执行所创造的视觉世界连接起来。随着模型越来越多地被要求生成图表、网页、动画和半结构化文档,人们对这一能力兴趣日增。近来,专有模型已大幅领先,甚至仅凭文本描述或一张截图就能生成交互式产物。然而它们的数据与训练仍然闭源,而开放进展受制于可用数据的数量与质量,以及生产这些数据的流程与方法。质量是两者中更难的一个,因为一个样本必须作为程序是正确的、构建良好,而且最重要的是渲染后视觉上正确。现有信号无法同时覆盖这三点。执行往往只返回通过或失败,代码相似度无法映射到视觉输出,而任务特定的验证器又无法泛化。为了进一步推动开放进展,我们从数据侧入手,提出 PrismaForge,一个以合成评分标准为中心的分层数据流程,该标准将这些因素分解为可检查的准则。同一评分标准既作为过滤器又作为奖励:它筛选监督语料,然后驱动视觉编码任务上的强化学习。利用 PrismaForge 进行数据合成与过滤,我们构建了 PrismaCoder-2M,这是多模态代码智能领域最多样化的开放数据集,也是迄今为止最大的。在模型侧,我们基于这些数据训练了 PrismaCoder-9B 和 PrismaCoder-35B 并发布两者。它们以较大优势领先开放领域的最先进水平,并可与领先的专有系统相媲美。我们的分析进一步表明,所提出的基于评分标准的流程提升了不同模型骨干的多模态编码性能。我们在 此 https URL 发布我们的代码和数据。
| 评论: | 进行中的工作 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI);计算机视觉与模式识别(cs.CV);机器学习(cs.LG);软件工程(cs.SE) |
| 引用为: | arXiv:2610.20538 [cs.CL] |
| (或 arXiv:2610.20538v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.20538 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Qiushi Sun [查看邮箱]
[v1]
2026年10月14日星期三 17:32:54 UTC(6,744 KB)
来源:arXiv cs.CL · arxiv.org