arXiv cs.CL· Haoyu Zhao, Zafeirios Fountas, Jun Wang·· 10 小时前AI 评分45
LLM 智能体能否通过观看教学视频学习？TAL 与 VidLearn 基准给出答案
Can Large Language Model Agents Learn by Watching Tutorial Videos?
AI 导读
研究提出 Tutorial Agentic Learning（TAL），一种无需参数更新的非参数持续学习范式，将教学视频整理为结构化 tutorialbook 记忆，并通过两阶段对抗流程生成视频相关问题来精炼记忆。
正文 · AI 翻译
摘要：人类不断从书籍和教学视频等精心制作的材料中获取知识，并将这些理解带入未来的任务中。每天有数百万这样的教学视频被上传到网上，然而 LLM 智能体仍然无法利用这一不断扩展的人类教学财富。它们的能力在训练后就被冻结，而大规模更新参数仍然代价高昂。这引出了一个核心问题：LLM 智能体能否在不更新参数的情况下从这一庞大的教学资源中学习？我们提出了教程智能体学习（Tutorial Agentic Learning，TAL），这是一种非参数的持续学习范式，它通过一个两阶段的对抗过程将教学视频整合为持久、结构化的教程书记忆，该过程收集基于视频的难题，并用它们来改进记忆。在推理时，TAL 通过目录（Table-of-Contents，TOC）树进行检索，将检索直接与模型的推理联系起来，而不是与嵌入相似度联系起来。为了研究这一设定，我们推出了 VidLearn，这是一个多模态问答基准，由 72 个涵盖 12 种开局的国际象棋教学视频构建而成。在 VidLearn 上，TAL 优于所有评估的基线，并且随着消耗更多视频而单调提升，在训练集和测试集上分别比相应的原始 MLLM 实现了高达 113% 和 91% 的相对增益。在实际对弈中，TAL 在 69% 的一对一对局中比其原始对应版本在开局阶段取得了更强的局面。在第二个领域的评估进一步证明了 TAL 的通用性。总之，这些结果凸显了教学视频作为一种可扩展资源，可用于无需参数更新的智能体持续学习。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2611.01460 [cs.LG] |
| （或此版本的 arXiv:2611.01460v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2611.01460 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haoyu Zhao [查看邮箱]
[v1]
2026 年 11 月 1 日星期日 02:48:09 UTC（1,619 KB）
来源：arXiv cs.CL · arxiv.org