arXiv cs.AI· Weimin Lyu, Jingfen Zhang, Lingdao Sha, Peng sun, Xiaowei Chen, Vincent Gao, Rui Song·· 3 天前AI 评分24
MoMaTune：先建模、再匹配、后微调的语言模型数值记录处理框架
MoMaTune: Model, Match, Then Tune Language Models for Numerical Records
AI 导读
MoMaTune 提出"Model、Match、Tune"两阶段后训练策略，解决解码器语言模型在数值数据上的监督不足问题。在 169,285 条记录、340 个输入字段中 339 个为数值的八个公开数据集上，1.5B 参数下 Model 阶段将掩码值填补聚合分数从 0.106 提升至 0.401，正确上下文增益从 0.058 升至 0.167。
正文 · AI 翻译
摘要：尽管在语言理解与生成方面取得了显著进展，解码器语言模型在数值数据上仍表现出惊人的失败。数值示例通常通过将特征名称与其值拼接（例如 fat:3.4）序列化为文本，而常规的任务适配仅将损失应用于下游预测目标。这使得两种结构处于弱监督状态：值内敏感性，即数字位置决定数值大小，因为 token 交叉熵不包含显式的数值度量；以及跨字段结构，即同一记录中的测量值在统计上相互依赖，因为仅针对目标的调优不会对测量值或其依赖关系产生直接损失。我们提出 MoMaTune（Model、Match，然后 Tune），一种围绕这些监督缺口组织的两阶段后训练策略。阶段 1 应用 Model，即对无标签的序列化记录密集地进行普通的下一 token 预测，并可选地加入 Match，一种同记录一致性目标，用于对齐同一示例不同部分视图的表示。阶段 2 应用 Tune，即针对下游目标预测的监督微调。我们在来自八个公开数据集的 169,285 条记录上评估 MoMaTune，其中 340 个输入字段中有 339 个为数值型。在 1.5B 参数下，Model 将八数据集掩码值插补聚合值从 0.106 提升至 0.401，而三数据集正确上下文增益从 0.058 上升至 0.167。在诊断方面，Model 还提高了对数值上具有重要影响的数字变化的敏感性，而 Match 改善了对信息性部分视图的鲁棒性。加入 Tune 后，对每个测试的阶段 1 父模型都产生了更高的目标监督嵌入聚合值，且两阶段方案比单独使用 Tune 获得更高的聚合分数。当使用模型嵌入进行下游预测时，在 4B、9.6B 和 27B 参数下也观察到相同模式。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15235 [cs.AI] |
| （或 arXiv:2610.15235v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15235 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Weimin Lyu [查看电子邮件]
[v1]
2026年10月11日星期日 00:10:31 UTC（1,792 KB）
来源：arXiv cs.AI · arxiv.org