arXiv cs.AI· Yuhan Wang, Rui Hu, Batian Di, Tan Jiang, Dongsheng Ma, Leichao Dong, Yuanzi Li, Yalin Feng·· 3 天前AI 评分22
CLIVO：基于可微聚类与学习验证目标的指令混合方法
CLIVO: Differentiable Cluster-Based Instruction Mixing with Learned Validation Objectives
AI 导读
CLIVO 是一个面向目标的多模态指令选择框架，将细粒度语义聚类分配、自动学习的验证目标与可微混合搜索连接起来，单次反向传播即可为所有聚类份额提供梯度。从 800 万条指令池中选出 10 万条时，CLIVO 达到全量数据四目标平均分的 97.2%，仅用 1.25% 的数据；相比最强评测基线提升 1.16 分，结合学习配额与样本排序后提升至 1.55 分。
正文 · AI 翻译
摘要：目标感知的多模态指令选择需要有用的示例以及适当的监督平衡。样本级排序可能过度代表相似内容，而无法优化这种平衡；组级方法面临单元粗糙、预定义的集合级验证信号以及成本高昂或不准确的混合搜索等问题。我们提出 CLIVO，一个目标感知框架，将细粒度语义分配、自动学习的验证目标和可微混合搜索连接起来。具体而言，语义聚类在百簇规模上提供可独立调整的份额。每个示例的合并代理损失与真实探针性能之间的相关性可识别目标相关的验证示例；学习到的非负权重将其损失组合为一个目标。通过合并代理的单次反向传播为所有份额提供梯度，避免了额外的混合响应回归模型。从 800 万条指令池中选择 10 万条指令，CLIVO 仅用 1.25% 的数据就达到了全数据四目标平均得分的 97.2%。使用簇内随机采样时，它比评估的最强选择基线提高了 1.16 分；将学习到的配额与样本排序相结合，这一优势增加到 1.55 分。分析表明，更细的单元对大多数目标有益，短训练专家保留了混合响应，样本加权保留了有用的验证信息，直接搜索持续降低学习目标。CLIVO 还支持可解释的分配、模块化选择，以及跨目标和跨粒度的复用。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.16876 [cs.AI] |
| （或使用 arXiv:2610.16876v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.16876 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuhan Wang [查看电子邮件]
[v1]
2026年10月12日星期一 14:38:24 UTC（2,463 KB）
来源：arXiv cs.AI · arxiv.org