arXiv cs.AI· Russell Ro, Qiming Cui, Reza Abbasi-Asl·· 2 天前AI 评分34
BULLPEN：用多通道模型嵌入实现样本高效 LLM 画像
From the Zoo to the BULLPEN: Sample-Efficient LLM Profiling via Multi-Channel Model Embeddings
AI 导读
BULLPEN 框架通过联合读取模型回答文本、正确性与问题文本，在 260 个开源权重模型上对新任务取得 0.48±0.10 的评分，优于此前最佳编码器的 0.35±0.10。
正文 · AI 翻译
摘要：在数十万个可用的大语言模型（LLM）中做出选择，需要全面了解每个候选模型的各项属性。在实践中，每项属性都由各自的基准测试套件来衡量，因此要评估一个模型的多项属性，就意味着要支付多项独立评估的成本。为解决这一问题，模型嵌入将每个模型压缩为一个固定长度的向量，并可由该向量预测多项属性。现有方法（如 EmbedLLM）基于正确性模式和问题特征构建这些向量，且通常需要大量探针测试。然而，在选择模型时许多重要行为（如冗长度、安全性和风格）更多体现在模型如何作答，而非其答案是否正确。我们提出 BULLPEN（通过 Profile ENcodings 理解大语言模型的行为），该框架从三个方面扩展了 EmbedLLM。第一，BULLPEN 整理了先前工作所使用的下游任务，并新增了 20 个基于行为、风格和来源的任务基准。第二，它是首个将模型自身的答案文本与其正确性及问题文本联合读取的框架。第三，它仅用数百个问题即可编码模型，而无需使用完整的 24,118 个问题池。在 260 个开放权重模型上，我们的答案文本编码器在新任务上得分为 0.48 +/- 0.10，而最佳先前编码器为 0.35 +/- 0.10。我们读取答案文本的编码器仅用 400 个问题（仅为完整问题池推理计算量的 1.3%）即可保留其完整问题池技能的至少 91%，而仅基于正确性的基线在同样 400 个问题下保留 83%。由于这些嵌入仅需模型输出，它们支持行为审计和低成本画像，并有望扩展到仅提供 API 的模型。代码与数据：此 https URL
| 评论： | 28 页，7 幅图，12 张表。代码与数据：此 https URL |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.41375 [cs.AI] |
| （或 arXiv:2610.41375v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.41375 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Russell Ro [查看邮箱]
[v1]
2026年10月30日星期五 07:41:44 UTC（565 KB）
来源：arXiv cs.AI · arxiv.org