arXiv cs.CL· Minsuh Joo, Youna Kim, Choonghyun Park, Soo Kyung Kim, Hyunsoo Cho·· 3 天前AI 评分22
MAPLE：面向 LLM 评估的多轴参数化知识提取透镜
MAPLE: A Multi-Axis Parametric Knowledge Extraction Lens for LLM Evaluation
AI 导读
研究者提出 MAPLE 框架，用于刻画知识提取增强（KEE）技术对 LLM 参数化知识提取的影响，其诊断指标在表层、概率和超越采样三个层面区分答案恢复与干扰、未恢复失败中的 gold-token 排名变化，以及固定预算采样遗漏答案的恢复情况。
正文 · AI 翻译
摘要：LLM 从训练数据中吸收了海量知识，但其固有的概率性质并不能保证这些知识一定会在输出中显现。为弥合这一差距，知识提取增强（KEE）技术，如激活引导、解码调整和提示，会修改推理过程，可能强化已有预测或使较难获取的答案浮现。然而，它们的评估以总体准确率为中心，这会将恢复的失败与受干扰的成功合并为单一分数，从而掩盖了多样化的影响。我们提出 MAPLE，一个用于刻画 KEE 技术如何影响参数化知识提取的统一框架。其诊断指标通过在表面、概率和超出采样三个层面衡量答案恢复与干扰、未恢复失败上的 gold-token 排名变化，以及固定预算采样所遗漏答案的恢复情况，来厘清这些影响。我们评估了六种 KEE 技术，涵盖解码、激活引导和提示，涉及三个模型系列：OLMo2、Qwen2.5 和 Llama3。我们的分析揭示了不同技术之间截然不同的影响与权衡，凸显了 MAPLE 在超越总体准确率来理解和比较 KEE 方面的价值。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19827 [cs.LG] |
| （或 arXiv:2610.19827v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19827 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Minsuh Joo [查看邮箱]
[v1]
2026年10月14日星期三 09:02:05 UTC（1,362 KB）
来源：arXiv cs.CL · arxiv.org