arXiv cs.CL· Yuwei Cheng, Weiyi Tian, Haifeng Xu·· 10 小时前AI 评分31
微调后的语言模型信息传递效率更高：Canopy Entropy 揭示不确定性重组机制
Fine-Tuned Language Models Exhibit Improved Information Conveyance
AI 导读
研究者提出 Canopy Entropy（CE*）指标，从生成树视角量化语言模型生成空间的有效大小，等于输出长度 N 与序列的总香农熵 H(N, Y_{1:N}|X)。
正文 · AI 翻译
摘要：人们通常认为微调会降低大语言模型的不确定性和多样性，但现有分析忽略了输出长度这一关键混杂因素，因而无法刻画不确定性在整个生成 rollout 中的分布。为此，我们提出 Canopy Entropy（$\mathrm{CE}^\star$），一种从树视角看待语言生成的度量，其中“canopy”表示所有可能 rollout 的空间，使 $\mathrm{CE}^\star$ 能够自然地量化生成空间的有效大小。$\mathrm{CE}^\star$ 同时捕捉输出长度 $N$ 与生成序列 $Y_{1:N}$ 中的不确定性——事实上，我们证明它等于总香农熵 $H(N, Y_{1:N}\mid X)$，其中 $X$ 表示提示。该公式给出可解释的指标，包括长度-熵相关项 $\rho(N, r_N)$，其中 $r_N$ 为熵率，通过指示更长的输出每个 token 携带的信息更多还是更少，来量化信息传递效率。在实证上，跨任务和模型家族，我们发现微调模型主要表现出更正的 $\rho(N, r_N)$ 相关性，即使总熵下降也是如此。此外，在控制模型家族、任务、提示和输出长度效应后，我们发现微调使熵率与语义多样性之间的相关强度几乎增至三倍，表明对齐后的模型能更高效地将 token 不确定性转化为语义多样性。总体而言，这些结果表明微调并非简单地降低不确定性，而是从根本上将其重组为更具信息量和语义意义的生成。我们的代码见 此 https URL。
| 评论： | NeurIPS 2026 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2605.30844 [cs.CL] |
| （或 arXiv:2605.30844v2 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2605.30844 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Weiyi Tian [查看邮箱]
[v1]
2026年5月29日星期五 05:05:01 UTC（915 KB）
[v2]
2026年11月6日星期五 03:59:18 UTC（338 KB）
来源：arXiv cs.CL · arxiv.org