arXiv cs.CL· Xin-Rui Ma, Shi-Zhi Chen, Hai-Yan Jiang, De-Cheng Feng, Michael Beer·· 10 小时前AI 评分39
变量名提供先验：语义接地让 LLM 实现数据高效的数值预测
Variable names provide priors: semantic grounding enables data-efficient numerical prediction by large language models
AI 导读
研究发现，变量名与其描述数值之间的语义匹配（语义接地）使五个未经任务特定训练的 LLM 在九个科学领域的 20 个数据集上追平或超越七个监督 ML 模型，样本稀缺时优势尤为明显。
正文 · AI 翻译
摘要：大型语言模型（LLM）在从问答到代码生成等多种任务上均取得了强劲表现。近期研究发现，LLM 可以通过上下文学习在表格数据集上进行数值预测。然而，LLM 在何种条件下以及如何使用变量名和上下文示例进行数值预测，目前仍不清楚。在此我们表明，语义接地，即变量名与其所描述数值之间的匹配，使得五个未经任务特定训练的 LLM 在来自九个科学领域的 20 个数据集上达到或超过七个监督机器学习（ML）模型的表现，尤其是在示例稀缺时。推理轨迹表明，变量名使 LLM 能够利用预训练期间获得的领域特定知识。使用基于物理公式的受控任务，我们进一步表明，LLM 以与贝叶斯更新一致的方式将领域特定知识与上下文示例相结合。具体而言，当输入与目标之间的关系无法仅从示例中推断时，LLM 将领域特定知识作为先验。相反，随着矛盾示例的积累，LLM 的预测逐渐向这些示例偏移，这些示例充当似然。我们的工作揭示了 LLM 在数值预测中如何使用领域特定知识，并将其定位为数据稀缺科学领域中数据高效的预测器。
| 评论： | 正文：30 页，6 幅图。补充信息：53 页，11 幅图 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.02637 [cs.AI] |
| （或 arXiv:2611.02637v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02637 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xin-Rui Ma [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 07:00:18 UTC（4,966 KB）
来源：arXiv cs.CL · arxiv.org