arXiv cs.CL· Mikey Watts (Independent Researcher), Yuchen Cui (University of California, Los Angeles)·· 10 天前AI 评分35
先改写再行动：Vision-Language-Action 模型的语言敏感性表征与缓解
Rephrase Before You Act: Characterizing and Mitigating Language Sensitivity in Vision-Language-Action Models
AI 导读
研究发现 Vision-Language-Action 模型对指令措辞高度敏感，$\pi_{0.5}$ 在 LIBERO 炉灶任务上对 "switch on the stove" 成功率 100%，换成 "switch on the hot plate" 仅 2%。
正文 · AI 翻译
作者：Mikey Watts（独立研究者）、Yuchen Cui（加利福尼亚大学洛杉矶分校）
摘要：视觉-语言-动作模型（VLA）对指令措辞极为敏感，并未继承其构建所基于的视觉-语言模型的语言鲁棒性。一个词的改动就能让成功率变动数十个百分点：$\pi_{0.5}$ 在 LIBERO 炉灶上对“switch on the stove”的成功率为 100%，而对“switch on the hot plate”仅为 2%；一个用改写增强微调过的 $\pi_0$ 检查点仍会出现高达 61 个百分点的波动。我们通过经统计检验的单次编辑波动和 oracle 短语搜索来刻画这种敏感性，结果表明仅措辞一项就几乎弥合了分布内与分布外任务之间 21 个百分点的差距。随后我们在不修改策略的情况下缩小了这一差距。由于这种敏感性是系统性的，它可以被表达为显式规则：我们对少数训练任务的多种措辞进行评分，让大语言模型将证据提炼为十到二十条改写规则，并在部署时依据这些规则对每条传入指令改写一次。这些规则在对抗性、VLM 生成和人类生成的措辞下，将冻结的 $\pi_0$ 在十二个留出任务上相对提升了 16% 到 27%，增益集中在分布外任务上。该流程在 $\pi_{0.5}$ 和 LIBERO 上可复现，将微调内成功率从 93.6% 提升至 97.8%。该方法无需重新训练，也无需逐步验证，并可零样本应用于未见过的任务和指令。项目网站：this https URL
| 评论： | 9 页，8 幅图，3 张表。项目页面：this https URL |
| 主题： | 机器人学（cs.RO）；计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | I.2.9; I.2.7 |
| 引用为： | arXiv:2610.10526 [cs.RO] |
| （或 arXiv:2610.10526v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10526 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Mikey Watts [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 17:57:38 UTC（1,951 KB）
来源：arXiv cs.CL · arxiv.org