arXiv cs.CL· Ziquan Wang, Yuxuan Nie, Jian Ma, Yingjie Li·· 12 小时前AI 评分24
研究：LLM 在基于检索的表格分类中何时优于距离加权投票
Beyond the Vote: When Do LLMs Add Value to Retrieval-Based Tabular Classification?
AI 导读
研究对比 4 个通用 LLM 与 Distance-KNN 在 19 个表格分类数据集上的表现，固定演示数量时扩大检索候选池可提升所有预测器准确率，但 Distance-KNN 在每个池规模下平均准确率最高。LLM 的优势集中在检索邻居标签共识度低的场景，且随模型而异；在特征空间距离最远的样本组中，所有 LLM 平均表现均落后于 Distance-KNN。
正文 · AI 翻译
摘要：基于检索的上下文学习（ICL）使大语言模型（LLM）能够从相似示例中预测表格标签，但 LLM 推理是否优于对这些相同示例的直接投票，目前仍不清楚。我们通过在 19 个表格分类数据集上，使用相同的检索邻居，比较四个通用 LLM 与距离加权最近邻投票（Distance-KNN）来回答这一问题。在演示数量固定的情况下，扩大检索候选池可提高所有预测器的准确率，但 Distance-KNN 在每个候选池规模下都取得了最高的平均准确率。更详细的分析表明，LLM 的增益集中在检索邻居标签一致性较低的地方，且因模型而异。这些增益还取决于到测试查询的平均特征空间距离：在标签一致性较低时，一些 LLM 在近距离和中等距离邻域中优于 Distance-KNN，但在最远距离组中平均而言全部落后。关于演示数量、提示构建、检索表示和标签平衡演示选择的补充实验基本保持了总体发现。这些结果刻画了在基于检索的表格 ICL 中，LLM 推理何时能在距离加权投票之外增加预测价值。
| 学科： | 信息检索（cs.IR）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29520 [cs.IR] |
| （或 arXiv:2610.29520v1 [cs.IR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29520 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yingjie Li [查看邮箱]
[v1]
2026年10月21日星期三 10:06:29 UTC（470 KB）
来源：arXiv cs.CL · arxiv.org