arXiv cs.CL· Kyuyoung Kim, Peiyao Sheng, Ashwin Hebbar, Peiyang Xu, Yunfei Xie, Kevin Wang, Rui Xin, Chen Wei, Zhangyang Wang, Jinwoo Shin, Pramod Viswanath, Sewoong Oh·· 14 小时前AI 评分31
表征对齐的辅助监督：提升语言模型在结构化领域的适配能力
Representation-Aligned Auxiliary Supervision for Language Model Adaptation
AI 导读
研究者提出“表征对齐的辅助监督”，用与环境兼容的表征表达任务来提升语言模型在结构化领域的适配效果。在国际象棋测试中，该方法在相同目标数据下持续改善最优走子预测，暴露环境动态的任务收益大于表层或静态监督。ASCII 训练的模型向 FEN 迁移的效果优于反向迁移，甚至超过 FEN 目标-only 基线，收益还扩展到开放式、事实有据的解说生成。
正文 · AI 翻译
作者：Kyuyoung Kim、Peiyao Sheng、Ashwin Hebbar、Peiyang Xu、Yunfei Xie、Kevin Wang、Rui Xin、Chen Wei、Zhangyang Wang、Jinwoo Shin、Pramod Viswanath、Sewoong Oh
摘要：语言模型展现出强大的推理能力，但将其适配到结构化领域仍具挑战性，且可能产生不一致的结果。我们将表示兼容性——即模型有效处理结构化任务某一表示的程度——确定为适配中的关键因素。我们在国际象棋中对此进行研究，国际象棋提供了一个受控测试平台，具有精确的语义、可计算的最优动作以及多种状态表示，包括符号编码（FEN）和空间格式（ASCII）。我们发现，模型对语义等价输入的处理往往存在显著差异，这同时影响学习和泛化。基于这一观察，我们提出表示对齐的辅助监督，即使用以兼容表示表达的环境派生任务来改进对结构化领域的适配。在相同目标数据下，跨模型和表示，辅助监督相对于仅目标训练持续改进最优走子预测。揭示环境动态的任务比表面级或静态监督带来更大且更一致的增益，同时与大幅增加目标任务数据量相比仍具竞争力。此外，以 ASCII 训练的模型向 FEN 的迁移比以 FEN 训练的模型向 ASCII 的迁移更有效，甚至在 FEN 评估上超过了仅 FEN 目标的基线。这些增益还扩展到最优走子预测之外，延伸至开放式、有事实依据的评论生成。总体而言，我们的结果表明，在模型兼容表示中的辅助监督能够实现结构化领域的有效适配。
| 评论： | NeurIPS 2026 Workshop on LP4FM Oral |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.04098 [cs.CL] |
| （或 arXiv:2610.04098v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.04098 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Kyuyoung Kim [查看邮箱]
[v1]
2026年10月2日星期五 22:04:12 UTC（198 KB）
[v2]
2026年10月24日星期六 18:56:10 UTC（198 KB）
来源：arXiv cs.CL · arxiv.org