arXiv cs.CL· Tanmoy Chakraborty, Ayan Sengupta, Suparna Bhattacharya, Partha Pratim Chakrabarti, Amlan Chakrabarti, Supratik Chakraborty, Partha Pratim Das, Lipika Dey, Richa Singh, Mayank Vatsa·· 10 天前AI 评分23
大语言模型的潜在性能画像（Latent Performance Profiling）
Latent Performance Profiling of Large Language Models
AI 导读
研究者提出 Latent Performance Profiling（LPP）框架，从隐藏激活和输出分布中提取与任务无关的标量指标，用于刻画 LLM 的潜在表征与动态特性。
正文 · AI 翻译
摘要：大型语言模型（LLM）在标准化基准测试中经常取得令人瞩目的分数，但仅凭准确率难以全面反映其能力。在排行榜上评估开源 LLM 面临数据污染、任务范围狭窄以及与真实世界可靠性契合度差等长期问题。诸如 MMLU-Pro、BBH 或 IFEval 等基于基准的评估主要捕捉模型在固定测试集上输出\textit{什么}，而非它\textit{如何}处理信息、校准不确定性或组织内部知识。在本文中，我们主张从以基准为中心的评估转向对 LLM 的补充性、\textit{以状态为中心的内在评估}。为此，我们引入\textbf{潜在性能画像（Latent Performance Profiling，LPP）}——一个从隐藏激活和输出分布中推导任务无关诊断的框架。LPP 在模型的潜在表示和动态上定义了一组标量指标，揭示出能够进行可解释比较并发现隐藏脆弱性的特征。与静态准确率分数不同，LPP 在规模相近的模型之间提供稳定、对架构敏感的特征签名。通过对八个 LLM（规模范围 0.5B-14B）进行大量实证分析，我们证明基准分数相近的模型可能表现出截然不同的潜在画像，例如熵或可压缩性方面的差异。在这些见解的指导下，我们设计了针对不确定性和符号推理的合成探针，这些探针与内在指标一致，同时与排行榜偏差解耦。我们建议在报告基准的同时报告 LPP，以提供对模型行为更深入、可解释的理解，从而实现更可靠的模型选择、安全评估以及超越表面准确率的评估。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.30018 [cs.CL] |
| （或 arXiv:2605.30018v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.30018 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ayan Sengupta [查看电子邮件]
[v1]
2026年5月28日星期四 14:41:26 UTC（893 KB）
[v2]
2026年5月29日星期五 04:32:57 UTC（893 KB）
[v3]
2026年10月7日星期三 08:05:25 UTC（1,858 KB）
来源：arXiv cs.CL · arxiv.org