arXiv cs.CL· AllSpark Team·· 9 天前AI 评分22
AdaptEvo：用置信度自适应训练与知识进化应对不完美监督
AdaptEvo: Learning under Imperfect Supervision through Confidence-Adaptive Training with Knowledge Evolution
AI 导读
AdaptEvo 框架通过置信度自适应策略优化与不断进化的决策知识及评估标准，在规则不完善、参考判断质量参差的场景下学习。其 CA-GRPO 按参考置信度平衡结果与过程奖励，Evolution 模块从反复失败中提炼可复用决策知识并改进过程评估标准。
正文 · AI 翻译
摘要：受规则约束的情境决策任务要求模型将指定规则应用于具体情境的背景与证据。书面规则可能在决策指导和过程评估方面留下空白，而参考判断在规则和证据支持程度上也各不相同。为应对这些挑战，我们提出了 AdaptEvo，一个在不完美监督下学习的框架，它将置信度自适应策略优化与不断演化的决策知识和评估标准相结合。其训练模块使用置信度自适应 GRPO（CA-GRPO），根据参考置信度来平衡结果奖励与过程奖励。其演化模块从训练案例中反复出现的失败中提炼可复用的决策知识，并改进过程标准以检测被忽视的错误。为支持实证评估，我们构建了一个工业多模态内容审核数据集，包含训练集以及期内和期外测试集，其中后者是在规则变更后收集的。使用 Qwen3.6-35B-A3B，AdaptEvo 在期内测试集上达到 61.9% 的精确标签准确率和 72.2% 的二元决策准确率，分别比 GRPO 高出 7.5 和 3.7 个百分点。在期外测试集上，使用 CA-GRPO 训练的策略在未注入决策知识的情况下，在所评估的各个检查点上均保持了相对于基础模型的精确标签准确率增益，而 GRPO 则随着持续训练而下降。CA-GRPO 在期外测试集的两项指标上也都优于所测试的固定奖励混合方案。
| 评论： | 21 页，4 张图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11354 [cs.CL] |
| （或使用 arXiv:2610.11354v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.11354 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shijun Wan [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 06:47:41 UTC（1,231 KB）
来源：arXiv cs.CL · arxiv.org