arXiv cs.AI· Gangyi Li, LuYao Wang, Jingfu Sun, Jingyi Yuan, Hang Liu, Hao Zong, Yujia Hu, Tingting Gao, Jianyong Wang, Xu Yang·· 6 天前AI 评分27
JoyInside-VLM-Agent：面向具身智能体的产品条件多模态策略学习
JoyInside-VLM-Agent: Product-Conditioned Multimodal Policy Learning for Embodied Agents
AI 导读
JoyInside-VLM-Agent 是一个 ReAct 风格多模态智能体，通过产品条件轨迹构建与分阶段策略学习训练，在 BFCL v4 上取得 77.44 总分，超过所评估的基线。
正文 · AI 翻译
摘要：具身智能体必须将多模态观测和用户请求转化为可执行动作，同时适应产品约束、变化的目标和执行反馈。我们提出 JoyInside-VLM-Agent，一种 ReAct 风格的多模态智能体，通过面向产品的轨迹构建和分阶段策略学习，为机器人平台和智能硬件开发。一个闭环沙盒生成覆盖目标修改和故障恢复的多模态交互轨迹，并根据执行结果和语义标准进行检查。监督微调和多教师在线策略蒸馏之后，是采用 DPER（双源特权在线策略自蒸馏与 Token 级证据路由）的强化学习。DPER 在冻结的特权教师和共享 rollout 策略参数的特权学生之间路由 Token 级证据，调节由奖励衍生的 Token 优势，同时保留其符号。训练奖励结合了生成过程评估、多评判者排名和任务队列一致性。JoyInside-VLM-Agent 在 BFCL v4 上取得 77.44 的总分，超过所评估的基线；在其他公开基准上的结果参差不齐。在 JoyInside-Devices 和 JoyInside-Robotics 上，所评估的系统（包含领域特定技能精调）在所有报告指标上领先基线。两个真实世界四足机器人案例研究展示了基于视觉的搜索、执行失败后的重新规划以及显式故障报告。
| 评论： | 23 页，6 幅图，5 张表；包含参考文献和附录 |
| 主题： | 机器人学 (cs.RO)；人工智能 (cs.AI)；机器学习 (cs.LG) |
| 引用为： | arXiv:2610.12957 [cs.RO] |
| （或 arXiv:2610.12957v1 [cs.RO] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.12957 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Luyao Wang [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 03:54:58 UTC（15,614 KB）
来源：arXiv cs.AI · arxiv.org