arXiv cs.AI· Laurent Mombaerts, Jonathan Taws, Jacopo Gargano, Dinesh Gaddam, Kevin George, Srijan Tiwari, Shreyas Rajesh·· 11 小时前AI 评分31
无需训练的多模态预测持续学习：用提示词进化替代重训练
Training-Free Continual Learning for Multimodal Forecasting via Prompt Evolution
AI 导读
研究者提出用一段由结果驱动反思进化出的文本引导块，替代重训练来让冻结的 LLM 预测器持续适应新数据分布。在严格防数据泄漏的多模态基准上，Llama-3.3-70B 携带 900 词进化引导取得 GM MASE 0.776，优于 TabPFN-TS-3 的 0.898，且可无损迁移到更新模型，更新成本为美元级而非 GPU-days。
正文 · AI 翻译
摘要：让预测系统适应不断变化的世界，传统上意味着重新训练。我们提出一个问题：为时间序列预测持续学习不同状态（regime）这一任务，能否用一段文本表示——即一个指导块（guidance block），它通过结果驱动的反思演化而来，并用于冻结的 LLM 预测器的提示中。在一个刷新过的多模态基准上（每周搜索指数、每日汇率、每日大宗商品，每个窗口都配以网络检索的新闻），我们在严格的污染控制下运行 GEPA 风格的提示演化，以防止时间序列基准中常见的数据泄漏：预测器的知识截止时间早于每一个被评估的窗口。由 Llama-3.3-70B 承载的一段 900 词演化指导在留出数据上优于时间序列基础模型（TSFMs）（GM MASE 0.776，而 TabPFN-TS-3 为 0.898），可迁移到更新的模型而无明显损失，且更新成本是数美元而非数 GPU 天。我们刻画了这一循环：循环外增益集中在第一次反思中，循环内改进会高估循环外增益 2-3 倍，除非由未受触碰的监控器进行仲裁；仅以误差为目标会悄然抑制文本模态。我们提供两项扩展。第一，将指导编译为可执行代码，并以 TSFM 作为可调用工具，可以确定性地恢复大部分增益。第二，消融实验表明，优势在短预测期上扩大，且移除新闻文本不会损害受指导的预测器，这与文本的价值在学习过程中被蒸馏为策略相一致。我们认为，持续提示演化是多模态预测中一种实用、无需训练的重新训练替代方案。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27468 [cs.LG] |
| （或 arXiv:2610.27468v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27468 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dinesh Yadav Gaddam [查看电子邮件]
[v1]
2026年10月20日星期二 01:38:24 UTC（59 KB）
来源：arXiv cs.AI · arxiv.org