arXiv cs.CL· Mingyan Liu, Min Huang·· 10 天前AI 评分24
SemanticFold：潜在序列压缩为何无法用单一指标衡量语言建模、可解码性与推理
SemanticFold: Latent Sequence Compression SeparatesLanguage Modeling, Decodability, and Reasoning
AI 导读
研究提出 SemanticFold，一种在学习到的边界处折叠前缀隐藏状态的潜在序列压缩方案，在 Qwen3-1.7B、Qwen3-8B、SmolLM2-1.7B、Pythia-1.4B 和 Pythia-6.9B 五种规模模型上评估。
正文 · AI 翻译
摘要：我们研究提示前缀的潜在序列压缩是否保留了大型语言模型在推理过程中所依赖的能力。我们提出了 SemanticFold，一种在学习到的边界处折叠前缀隐藏状态的压缩方案，并在五种模型规模上对其进行了评估：Qwen3-1.7B、Qwen3-8B、SmolLM2-1.7B、Pythia-1.4B 和 Pythia-6.9B。我们采用固定目标协议：冻结的前缀以原生方式或压缩方式执行，两个分支都对相同的续写 token 进行教师强制。这一设计排除了目标选择对似然变化的解释。我们考察了五个端点族：固定目标负对数似然、有限标签推理准确率、线性探针可访问性、开放式生成，以及系统级内存和延迟。我们发现压缩以非单调方式改变这些端点，并且它们不共享单一的压缩阈值。在 Qwen3-1.7B 上，压缩比 R=1.7 时，在 10000 次抽样的配对 bootstrap 下，压缩减原生平均 NLL 降低了 0.135。在 SmolLM2 上，R=1.2 时，平均变化比原生高 0.013。在两个 Pythia 检查点上，NLL 实际上没有变化。将序列缩短与学习到的残差变换分离的 NLL 分解表明，Qwen 有利的似然主要归因于残差适应，而非仅仅是缩短。仅 MLP（应用变换但不缩短）比完整 SemanticFold 的 NLL 低 0.082。线性探针准确率和宏 AUC 在各条件下变化绝对值小于 0.03，置信区间跨越零。我们得出结论：潜在压缩下的保持性没有单一的标量证书：语言模型拟合、可解码性和推理行为回答不同的问题，并且在同一压缩操作下可能朝不同方向变化。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.10304 [cs.LG] |
| （或 arXiv:2610.10304v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10304 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Mingyan Liu [查看电子邮件]
[v1]
2026年10月7日星期三 16:00:59 UTC（32 KB）
来源：arXiv cs.CL · arxiv.org