arXiv cs.AI· Seoyeon Ye, Gayoung Kim, Jiyoung Hong, Sookyung Kim, Hyunsoo Cho·· 10 天前AI 评分39
LUMOS：追踪 LLM 参数化知识从训练数据到行为输出的因果链
LUMOS: Tracing Parametric Knowledge from Training Data to Behavioral Outputs in LLMs
AI 导读
研究者提出诊断框架 LUMOS，基于训练语料完全透明的 OLMo 2，沿"训练数据曝光→行为输出"的因果链追踪 LLM 的参数化知识。结果显示模型内部对罕见事实的编码可分性达 84%，但行为表达仅 54%，该检索差距随规模扩大而收窄；模型自省时对已训练内容准确率 83%，对未见内容降至随机基线 49%，且思维链提示只会抬高置信度而非改善校准。
正文 · AI 翻译
摘要：当前对 LLM 参数化知识的分析大多以输出为中心，在未验证模型实际训练内容的情况下，就对模型知道什么下结论。这使得一些根本性问题——例如一个正确回答反映的是真正的泛化还是死记硬背——建立在推测而非证据之上。为解决这些模糊之处，我们提出 LUMOS，一个诊断框架，它沿着从训练数据曝光到行为输出的因果链追踪知识，并利用具有完全透明训练语料的 OLMo 2。通过将分析建立在经过验证的曝光之上，我们发现模型在内部以高可分性（84%）编码罕见事实，却无法在行为上表达它们（54%），不过这一检索差距随规模增大而缩小。此外，当要求模型对自身答案进行自我反思时，它们在训练过的内容上表现可靠（83%），但在未见过的内容上降至随机基线水平（49%）。这种崩塌即使在思维链提示下也依然存在，而思维链提示只是放大了置信信号，并未改善校准。总体而言，这些发现表明，将训练数据这一维度纳入 LLM 评估，能把推测性诊断转化为可验证的论断，我们主张这一维度应成为 LLM 知识评估的标准组成部分。
| 评论： | 已被 NeurIPS 2026 接收（Poster） |
| 主题： | 人工智能（cs.AI） |
| 引用格式： | arXiv:2610.02902 [cs.AI] |
| （或 arXiv:2610.02902v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.02902 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Seoyeon Ye [查看邮箱]
[v1]
2026年10月2日星期五 06:53:55 UTC（1,781 KB）
[v2]
2026年10月6日星期二 11:17:11 UTC（1,781 KB）
来源：arXiv cs.AI · arxiv.org