arXiv cs.AI· Minhao Fan, Yinyi Liu, Jiayu Zhao, Zihan Teng, Song Chen, Weichen Liu·· 9 天前AI 评分24
Harness Compilation：小型视觉语言模型应保留哪些决策？
Harness Compilation: Which Decisions Should a Small Vision-Language Model Keep?
AI 导读
研究者提出 Harness Compilation（HC），一种离线流程，通过大模型教师依据学生执行轨迹修订可复用内容与控制逻辑，重新分配冻结小型 VLM 与外部 harness 之间的分工，部署时无需更新权重或调用教师模型。
正文 · AI 翻译
摘要：小型视觉语言模型或许能够读取外部证据，却难以获取它。我们提出 Harness Compilation（HC），一种离线流程，用于调整冻结的小型 VLM 与其外部 harness 之间的分工。大型教师模型利用学生执行轨迹来修订可复用内容与控制，而单独的验证集则选择部署的 harness。部署既不需要更新权重，也不需要调用教师模型。在七个视觉问答设置中，学生模型参数量最多为 9B，HC 相比裸学生模型将得分提高了 9.9-23.9 分，这是每个设置三次独立构建的平均值。对五种运行时决策类型（调用、选择、参数生成、证据整合和弃权）的干预表明这种分配为何重要：请求证据和生成开放式查询可能代价高昂，而有界选择和阅读提供的文本仍可成为有用的学生工作。事实卡片使全部十个被评估的学生模型受益，但决策策略的迁移并不均衡。当迁移的接口不再适合学生模型时，为新学生模型重新编译会有所帮助。在 100 个练习项目下，HC 在三个任务上超过了仅答案的 LoRA。更大的训练预算可以匹配或超越固定 harness，而将两者结合可使 SlideVQA 的表现超过任一单独方法。这些发现支持根据实测的学生行为来分配工作，而不是统一移除决策。
| 评论： | 58 页，10 张图，包括附录 |
| 主题： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.11231 [cs.AI] |
| （或 arXiv:2610.11231v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.11231 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Minhao Fan [查看电子邮件]
[v1]
2026年10月8日星期四 04:31:36 UTC（379 KB）
来源：arXiv cs.AI · arxiv.org