arXiv cs.AI· Baptiste Arnaudo, Amine Bennouna, S\'ebastien Martin·· 13 小时前AI 评分31
利用 LLM 与统计选择模型从非结构化数据中发现可解释特征
Interpretable Feature Discovery from Unstructured Data Using LLMs and Statistical Choice Models
AI 导读
研究者提出一种从非结构化数据中自动发现可解释、与决策相关特征的方法：让 LLM 对数据项做两两比较并说明区分二者的可解释特征，再用统计选择模型汇总这些理由，识别相关特征并估计每项每特征的得分。在带已知真实特征的合成求职信数据集上，该方法在特征恢复上显著优于直接让 LLM 提取特征；应用于 ChangeMyView 辩论数据集时，它发现了若干与说服相关的可解释特征，预测准确率与已有基线相当。
正文 · AI 翻译
摘要：从非结构化数据中提取特征通常依赖于不透明的嵌入，不适合可解释的决策。另一方面，可解释的特征通常需要昂贵且往往不可行的手工工程。大型语言模型（LLM）提供了天然的桥梁，因为它们可以读取原始数据并以可解释的方式描述它。人们可以简单地要求 LLM 从数据集的大样本中提取特征，但上下文限制和注意力稀释可能导致不令人满意的结果。我们介绍了一种从非结构化数据中自动发现可解释的、与决策相关的特征的方法。我们的关键思想是在项目之间进行成对比较，要求 LLM 以可解释的方式阐明区分每一对的特征。我们将这些解释（或理由）视为数据：我们开发了一个统计选择模型，将这些理由跨比较组合起来，以识别相关特征并估计每个项目、每个特征的分数。我们首先在一个具有已知真实特征的合成求职信数据集上测试我们的方法，并表明它在特征恢复方面显著优于直接的 LLM 特征提取。然后我们将其应用于 ChangeMyView（Reddit）辩论数据集，在那里它发现了几个与说服相关的可解释特征，同时达到了与现有基线相当的预测准确性。我们还展示了如何使用相同的理由来审计 LLM 决策，产生一个整体分数，其在可解释特征上的分解揭示了 LLM 奖励什么。
| 评论： | 预印本。88 页，21 图，12 表。代码：此 https URL |
| 主题： | 机器学习（stat.ML）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.38082 [stat.ML] |
| （或 arXiv:2610.38082v1 [stat.ML] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.38082 arXiv 发布的 DOI 通过 DataCite |
提交历史
来自：Baptiste Arnaudo [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 23:54:42 UTC（987 KB）
来源：arXiv cs.AI · arxiv.org