跳到正文
arXiv cs.AI· Ivan Jaen Marquez, Sotirios Panagiotis Chytas, Vikas Singh·· 4 小时前AI 评分20

ToR-OT:用自回归 token 回归学习最优传输方案

Learning Optimal Transport Plans Via Autoregressive Token Regression

AI 导读

ToR-OT 是一个基于 Transformer 的模型,将离散最优传输(OT)重构为结构化序列生成任务,通过自回归 token 回归直接解码稀疏传输方案,而非在测试时求解优化问题。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:最优传输(OT)为寻找概率分布之间的最小代价耦合提供了一个有原则的框架。经典求解器仍是该任务的金标准。同时,OT 也是研究基于学习的摊销模型能否内化 OT 类问题结构的理想试验平台。在这里,真实解可得,边缘约束有明确定义。此外,精确离散解具有特征良好的稀疏性。我们描述了 ToR-OT,一个基于 transformer 的模型,它通过自回归 token 回归学习预测离散 OT 方案。我们将 OT 重构为结构化序列生成任务。ToR-OT 将稀疏传输方案解码为序列,而不是在测试时求解优化任务。我们关注三个特性:(a) 零样本泛化:在大型合成 OT 实例语料库上预训练,使单个模型无需重新训练即可泛化到未见过的分布对和异构代价度量;(b) 稀疏原始解码:通过利用精确离散 OT 解中固有的稀疏性,解码器仅预测非零项(避免稠密耦合输出);(c) 摊销推理:在低维离散问题上,ToR-OT 给出准确的近似方案,并与逐实例神经 OT 基线相比具有优势。总体而言,ToR-OT 尚不能替代经典求解器,但它是朝着理解自回归 transformer 如何学习 OT 等约束优化问题结构迈出的一步。
主题: 机器学习(cs.LG);人工智能(cs.AI)
引用为: arXiv:2611.22218 [cs.LG]
  (或 arXiv:2611.22218v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22218

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Sotirios Panagiotis Chytas [查看电子邮件]
[v1] 2026年11月17日星期二 04:57:26 UTC(12,512 KB)

来源:arXiv cs.AI · arxiv.org