arXiv cs.CL· Zichen Zhu, Dingye Liu, Nan Jiang, Danyang Zhang, Hang Zheng, Shijie Zheng, Situo Zhang, Kunyao Lan, Yingzi Ma, Sheng Jiang, Lu Chen, Kai Yu·· 10 小时前AI 评分34
SynthDCB:用世界蒸馏构建可扩展的设备控制基准
SynthDCB: World Distillation for Scalable Device Control Benchmarking
AI 导读
SynthDCB 是一个通过世界蒸馏(WD)构建的设备控制与环境感知基准,实例化 Home、Car、Phone 三类场景,含 114 个设备类别、1,166 个函数和 95 个事件,覆盖 5 类任务、32 个子类型。
正文 · AI 翻译
作者:Zichen Zhu、Dingye Liu、Nan Jiang、Danyang Zhang、Hang Zheng、Shijie Zheng、Situo Zhang、Kunyao Lan、Yingzi Ma、Sheng Jiang、Lu Chen、Kai Yu
摘要:扩展设备控制评估需要同时扩展交互世界和智能体必须解决的任务。我们提出 SynthDCB,这是一个通过世界蒸馏(WD)构建的、用于环境感知与设备控制的基准。世界蒸馏将关于设备行为、约束和环境效应的知识转化为模块化可执行组件。统一的能力表示连接了工具发现、世界执行和任务合成。SynthDCB 实例化了 Home、Car 和 Phone,包含 114 个设备类别、1,166 个函数和 95 个事件,支持五个任务族、32 个子类型。显式状态和工具调用轨迹支持任务验证和智能体评估。我们在 2,560 个测试任务上评估了 22 个模型;最佳模型达到 88.8% 的平均 Pass@1。构建实验展示了 token 效率和任务覆盖范围的扩展。在最丰富的知识层级下,WD 完全覆盖了真实 RobotVacuum 协议中指定的 22/23 项属性、19/29 项功能和 30/39 项事件需求。此外,采样的 1,000 个任务在语义上覆盖了真实世界语料库中 854 条参考指令的 81.6%。SynthDCB 将不断扩展的从真实到仿真的可执行能力空间与可验证的智能体评估连接起来。
| 评论: | 71 页,9 幅图,22 张表。项目网站:此 https URL |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.18639 [cs.LG] |
| (或 arXiv:2611.18639v2 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.18639 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Zichen Zhu [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 12:03:38 UTC(2,180 KB)
[v2]
2026 年 11 月 19 日星期四 09:22:58 UTC(2,553 KB)
来源:arXiv cs.CL · arxiv.org