arXiv cs.AI· Zhenqing Ling, Qirui Jiao, Daoyuan Chen, Cheng Chen, Xinji Mai, Haowen Gao, Zhuo Zhang, Xuchen Pan, Mengsu Ding, Jiaji Deng, Yuexiang Xie, Xiaoming Qin, Weirui Kuang, Zhaoyang Liu, Yaliang Li, Bolin Ding, Jingren Zhou·· 10 小时前AI 评分55
Piccolo:通过递归自我改进协同演化决策模型与数据
Piccolo: Co-Evolving Decision Models and Data through Recursive Self-Improvement
AI 导读
研究团队提出 Piccolo 系列多模态决策模型(0.8B 至 27B),通过 Agentic Data Engineering 与递归自我改进(RSI)让模型能力与训练数据协同演化。
正文 · AI 翻译
作者:Zhenqing Ling、Qirui Jiao、Daoyuan Chen、Cheng Chen、Xinji Mai、Haowen Gao、Zhuo Zhang、Xuchen Pan、Mengsu Ding、Jiaji Deng、Yuexiang Xie、Xiaoming Qin、Weirui Kuang、Zhaoyang Liu、Yaliang Li、Bolin Ding、Jingren Zhou
摘要:我们提出 Piccolo,一个多模态决策模型系列(0.8B 至 27B),通过 Agentic Data Engineering 与递归自我改进(RSI)实现模型能力与训练数据的协同进化。这些模型针对通用文本与视觉判断、智能体框架、数据工作流和交互式游戏,对候选答案预测概率。Piccolo-27B 以 75.59 分位居 Decision Index Vision Full 排行榜榜首,而 Piccolo-9B 和 Piccolo-4B 分别取得 68.35 和 67.46 分。三者在各自模型规模类别的 Private 基准上均排名第一。研究智能体分析模型行为、构建训练数据、开展实验,并利用结果改进后续提案。语义切片与共享研究记忆将这些行动贯穿于模型系列的整个开发过程。训练配方包含数十万个示例,数据选择与反馈驱动的改进是自我改进过程的核心。我们的大规模 RSI 探索为决策模型开发带来三个反直觉的洞见:(1)骨干网络与配方的协同适配比模型的新旧程度更重要:在相同配方下,较早的骨干网络在视觉任务上可以超越更新一代的模型;(2)有针对性的数据整理使 4B-9B 模型在专门工作流上可与 27B 基线相媲美;(3)损失的持续降低可能与离散决策准确率脱钩,甚至使其下降。连同 Data-Juicer 和 AgentScope 生态发布的权重与工具,Piccolo 为构建前沿决策模型和扩展数据驱动的 RSI 提供了可操作的蓝图。
| 评论: | 22 页,13 幅图,11 张表。项目页面与博客:此 https URL |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI);计算机视觉与模式识别(cs.CV) |
| 引用为: | arXiv:2611.24651 [cs.CL] |
| (或 arXiv:2611.24651v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24651 arXiv 发布的 DOI 经由 DataCite(待注册) |
提交历史
来自:Daoyuan Chen [查看邮箱]
[v1]
2026 年 11 月 18 日星期三 15:53:39 UTC(1,777 KB)
来源:arXiv cs.AI · arxiv.org