arXiv cs.AI· Tejas Vaidhya, Gaurav Sahu, Irina Rish·· 3 天前AI 评分22
Tab-Loop：用循环共享参数替代 TabICLv2 的 12 层独立 ICL 模块
Recurrent In-Context Learning for Tabular Foundation Models
AI 导读
Tab-Loop 将 TabICLv2 的 12 个非共享 ICL 块替换为 4 个共享块循环 k 次，其余编码器、解码器、合成先验与训练配方均不变。
正文 · AI 翻译
摘要：表格基础模型通过上下文学习（ICL）适应新数据集，并且与大多数 transformer 一样，它们将计算深度与独立参数化的层数绑定。我们提出疑问：此类模型的 ICL 阶段是否需要每一层都有一组独立的参数，还是只需要深度。我们提出 Tab-Loop，它将 TabICLv2 的 12 个非绑定 ICL 块替换为 4 个绑定块并应用 $k$ 次，其他一切不变：编码器、解码器、合成先验和训练配方与在相同计算量下训练的非绑定基线共享。在匹配预训练计算量（18.2 EFLOP）和匹配推理计算量（12 次块应用）下，Tab-Loop 以少 62\% 的参数（10.4M 对 27.6M）达到与基线相当的效果：留出集对数损失为 0.4583 对 0.4588，在 200 个 TALENT 数据集上的平均准确率为 84.10\% 对 83.92\%，在 38 个 TabArena 数据集上的 Elo 为 1409 对 1396。一个具有 Tab-Loop 参数量的 4 块非绑定对照，在相同计算量下多看到 32\% 的训练表，却落后于两者（83.46\%；Elo 1343）。由于权重共享，深度成为推理时做出的选择。准确率随循环次数在训练范围内上升，并在超出该范围后保持，使用更深循环继续训练可扩展有效范围，在 4--5$\times$ 其推理计算量时达到基线的第二阶段分数。在此规模下，表格基础模型的 ICL 阶段更需要深度，而非独立参数。
| Subjects: | 机器学习 (cs.LG)；人工智能 (cs.AI) |
| Cite as: | arXiv:2610.14998 [cs.LG] |
| （或 arXiv:2610.14998v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14998 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Tejas Vaidhya [查看电子邮件]
[v1]
2026年10月10日星期六 15:26:48 UTC（1,186 KB）
来源：arXiv cs.AI · arxiv.org