arXiv cs.CL· Hongxing Li, Dingming Li, Yixin Li, Yong Du, Wenqi Zhang, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen·· 9 天前AI 评分30
ViSkill：用可演进的视觉原生技能强化 VLM 智能体
ViSkill: Reinforcing VLM Agents with Evolving Visual-Native Skills
AI 导读
ViSkill 是一个视觉原生技能学习框架，将成功交互编码为 VLM 智能体可直接读取的复合视觉技能卡，检索到的技能同时引导推理与奖励塑形，成功轨迹再蒸馏回技能库形成闭环。在 Sokoban、FrozenLake 和 PrimitiveSkill 上，ViSkill 整体成功率达 0.89，加入冷启动初始化后升至 0.91，优于所有评测的闭源与开源基线，且收敛快于标准 PPO。
正文 · AI 翻译
摘要：技能增强型智能体通过将成功轨迹蒸馏为可复用策略来提高样本效率。然而，现有方法大多仍以文本为中心，将空间布局和动作-状态对应关系线性化为语言，从而丢失了关键的几何结构。近期研究已开始引入视觉证据，但技能构建与更新独立于策略优化，其相互促进的关系尚未得到充分探索。我们提出 ViSkill，一个视觉原生的技能学习框架，将成功交互编码为 VLM 智能体可直接访问的复合视觉技能卡。检索到的技能同时指导推理和奖励塑形，而成功轨迹则被蒸馏回技能库，形成闭环反馈，使技能积累与策略改进相互强化。可选的冷启动机制进一步加速早期学习。在 Sokoban、FrozenLake 和 PrimitiveSkill 上的评估中，ViSkill 取得了 0.89 的总体成功率，在冷启动初始化下提升至 0.91，优于所有评估的专有和开源基线，同时比标准 PPO 收敛更快。我们的代码可在 此 https URL 获取。
| 评论： | 代码：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12403 [cs.CV] |
| （或 arXiv:2610.12403v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12403 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hongxing Li [查看电子邮件]
[v1]
2026年10月8日星期四 17:44:19 UTC（1,028 KB）
来源：arXiv cs.CL · arxiv.org