arXiv cs.AI· Wenxi Dai, Jingyu Hu, Yanting Yang, Mengnan Du·· 10 小时前AI 评分31
从表征到读出：语言模型中成员信号（membership signals）的机制分析
From Representation to Readout: Mechanistic Analysis of Membership Signals in Language Models
AI 导读
研究提出 Decodable Information Score、Used Information Score 与 Readout Accessibility Gap（DUG）三项互补指标，分别量化 LLM 内部表征中可解码的成员信息及其在读出环节的暴露程度。
正文 · AI 翻译
摘要：成员推断旨在判断某个特定样本是否被包含在模型的训练数据中。此类成员信号通常被宽泛地描述为记忆，而其底层机制既涉及信息在内部如何表示，也涉及模型如何访问这些信息以产生行为。因此，我们对大语言模型（LLM）中的成员信号进行了机制性研究。我们引入了可解码信息分数、已使用信息分数和读出可及性差距（DUG），这是一组互补的度量，分别量化可从内部表示中解码出的成员信息，以及该信息通过模型读出暴露的程度。在基于监督微调（SFT）和基于强化学习（RL）的成员推断方法中，成员特异性效应在 SFT 下同时体现在可解码信息量和读出上，而在基于 RL 的成员推断方法下，它们主要体现在读出上。激活修补进一步将这种成员特异性效应定位到中间层。为检验这些发现是否可推广到更一般的 RL 设定，我们进一步研究了带可验证奖励的强化学习（RLVR）污染，其中训练奖励与参考解无关。在这一设定下，我们发现行为变化可以在基于似然的成员推断信号没有相应增加的情况下出现。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.41445 [cs.LG] |
| （或 arXiv:2610.41445v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41445 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenxi Dai [查看邮箱]
[v1]
2026年10月30日星期五 08:47:07 UTC（167 KB）
来源：arXiv cs.AI · arxiv.org