arXiv cs.AI· Daoping Wu, Dong Wang, Siyu Liu, Chen Liang, Jian Geng, Ziqi Li, Shuguang Xiong, Ying Zhang·· 3 天前AI 评分30
SLKR:面向零样本文本分类的标签中心知识检索框架
Label-Centric Knowledge Retrieval for Zero-Shot Text Classification
AI 导读
研究者提出 SLKR(Semantic Label Knowledge Retrieval),一种标签中心的检索增强生成框架,将离线知识构建与轻量在线推理分离:旗舰 LLM 离线为标签空间生成定义、检索关键词和易混淆标签对的边界规则,在线由轻量 LLM 单次调用完成分类。
正文 · AI 翻译
摘要:旗舰大型语言模型(LLM)提供丰富的通用知识和强大的推理能力,但其高昂的推理成本和延迟限制了它们在大规模数据标注中的应用。我们研究具有语义标签和任务描述的零样本文本分类,无需任务特定的标注示例或分类器反馈。我们提出 \textbf{SLKR}(语义标签知识检索),一种以标签为中心的检索增强生成框架,将离线知识构建与轻量级在线推理分离。离线阶段,旗舰 LLM 独立生成标签定义、检索关键词以及针对可能混淆的标签对的边界规则,形成可复用的标签知识库。由于此构建过程作用于标签空间而非输入语料库,其一次性旗舰成本可在大规模推理中摊销。在线阶段,混合语义与词汇检索首先识别前 $K$ 个候选标签,然后选择最多 $M$ 条连接候选标签对的输入相关边界规则。轻量级 LLM 使用检索到的定义和规则,通过单次调用执行最终分类。在三个公开基准和一个真实世界多语言图书分类数据集上,SLKR 使用 Qwen3.5-4B 在所有四个数据集上取得最佳结果,使用 Ministral-3-3B 在四个中的三个上取得最佳结果,同时使用紧凑的输入上下文且无需任务特定的标注示例。边界消融进一步表明,检索一小组输入相关规则可保持接近使用所有边界的性能,同时大幅减少上下文,支持高效复用旗舰生成的标签知识进行轻量级分类。
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.16182 [cs.AI] |
| (或 arXiv:2610.16182v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.16182 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Daoping Wu [查看电子邮件]
[v1]
2026年10月12日星期一 05:00:56 UTC(93 KB)
来源:arXiv cs.AI · arxiv.org