arXiv cs.AI· Matthew McDermott, Florent Pollet, Payal Chandak, Gregory Kondas, Liat Friedman Antwarg, Noa Dagan, Isaac Kohane·· 1 天前AI 评分26
面向“任意任务推理”基础模型的理论框架：形式化定义与误差分解
A Theoretical Framework for Understanding and Building "Any-task inference" Capable Foundation Models
AI 导读
研究者提出“任意任务推理”（ATI）基础模型的形式化数学定义，将数据样本 x 与任务 t 直接映射到标签空间，并引入“任务兴趣空间”概念。该框架证明所有 ATI 模型可经“通用任务归约”分解为编码器、模型与解码器三部分，进而把模型误差拆分为设计项与已实现模型超额项。作者据此给出生成式与判别式两类 ATI 实现原型，并用 5 个真实基础模型案例验证定义的适用性。
正文 · AI 翻译
摘要：在本工作中，我们为专注于实现“任意任务推理”（ATI）特性（类似于零样本推理）的基础模型子集提供了一个形式化框架和数学定义，而非那些为预训练微调而设计的模型。为实现这一数学定义，我们形式化了“感兴趣任务空间”的概念，并将其纳入问题域，随后给出了基于接口的 ATI 基础模型形式化定义，即那些将数据样本 $x$ 和任务 $t$ 直接映射到标签空间上的预测的模型。尽管该定义简单，但它使我们能够证明：所有 ATI 基础模型都可以通过“通用任务归约”的视角分解为编码器、模型和解码器三个方面。我们可以利用这种分解，进一步将基础模型误差分解为与该归约不同方面相对应的项，并分层为一系列“设计项”——这些是理论性质，可帮助判断某个特定提出的 ATI 基础模型是否因所提出的任务归约结构而能够达到最优性——以及“已实现模型超额”项，后者捕捉基础模型系统中学习组件与程序化组件之间的交互。最后，我们可以利用这一视角，为在不同领域中实现 ATI 基础模型提供两种“原型”配方，我们将其称为 ATI 基础模型的生成式和判别式变体。这项工作全程以 5 个不同场景下的基础模型真实案例为基础，这些案例在能力实现方式上差异巨大，展示了该定义对真实场景的适用性。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.40934 [cs.LG] |
| （或 arXiv:2610.40934v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40934 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Florent Pollet [查看电子邮件]
[v1]
2026年10月29日星期四 20:08:35 UTC（79 KB）
来源：arXiv cs.AI · arxiv.org