arXiv cs.AI· Zihao Lin, Haoyu Dong, Haobo Xu, Chi-Chih Chang, Xuying Ning, Yinglong Xia, Shuang Yang, Zhuokai Zhao, Xinying Song, Dongfang Liu, Lifu Huang, Yang Song, Qifan Wang·· 11 小时前AI 评分32
VideoHarness-SRSI：面向视频理解 harness 的结构化递归自我改进框架
VideoHarness-SRSI: Structured Recursive Self-Improvement for Video Understanding Harness
AI 导读
研究者提出 VHarness-SRSI，一个以证据治理为核心的递归自我改进框架，围绕冻结的视觉语言模型演化视频理解 harness。在四个视频理解基准上，其等权平均留出分数相对 VHarness-BRSI 提升 6.2%，平均验证-测试差距缩小 37.9%。该框架通过限制提议者仅使用无内容反馈、用带监测的预热实验引导探索，并在隔离的 probe-race 分支中开发机制后再做因子组合与联合精修。
正文 · AI 翻译
作者：Zihao Lin、Haoyu Dong、Haobo Xu、Chi-Chih Chang、Xuying Ning、Yinglong Xia、Shuang Yang、Zhuokai Zhao、Xinying Song、Dongfang Liu、Lifu Huang、Yang Song、Qifan Wang
摘要：LLM 系统的能力不仅取决于模型参数，还取决于组织信息获取、工具使用、推理与记忆的可执行 harness。递归式 harness 演化可以自动化其设计，但如何从有限、含噪且被反复复用的反馈中可靠地发现可泛化的系统，仍不清楚。我们在智能体视频理解中研究这一问题，其中丰富的多模态证据与相互耦合的机制使 harness 优化颇具挑战。我们首先提出 VHarness-BRSI，一个围绕冻结视觉语言模型演化视频 harness 的递归自我改进框架。通过分析 4,000 多个演化候选，我们发现其与手工设计的系统相比具有竞争力，但识别出三种相互关联的失效模式：验证过拟合、搜索预算稀释和早期经验陷阱。我们将这三者追溯到同一根源：同一份不完美的验证证据同时驱动 harness 修订与提议者的搜索策略。因此我们提出 VHarness-SRSI，一个证据治理框架，其中每个搜索决策都基于可迁移、充分且在搜索承诺之前收集的证据。它限制提议者只能使用无内容反馈，通过带检测的预热实验为探索提供信息，并在因子组合与联合精炼之前，在隔离的探针竞速分支中开发机制。在四个视频理解基准上，VideoHarness-SRSI 相对于 VideoHarness-BRSI 将等权平均留出得分提高 6.2%，并将平均验证-测试差距缩小 37.9%。因此，可靠的 harness 演化取决于搜索如何被组织和提供信息，而不仅仅取决于它优化验证性能的效果。
| 评论： | 50 页，15 张图 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.19424 [cs.CV] |
| （或本版本使用 arXiv:2610.19424v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2610.19424 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zihao Lin [查看邮箱]
[v1]
2026 年 10 月 14 日星期三 02:17:07 UTC（690 KB）
[v2]
2026 年 10 月 16 日星期五 03:45:20 UTC（687 KB）
来源：arXiv cs.AI · arxiv.org