arXiv cs.AI· Gabrielle Kaili-May Liu, Avi Caciularu, Gal Yona, Idan Szpektor, Arman Cohan·· 3 天前AI 评分32
用元认知反馈强化学习让 LLM 忠实表达不确定性
Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs
AI 导读
研究者提出元认知反馈强化学习（RLMF），依据模型对自身表现的自我判断质量来优化偏好训练中的补全排序，并配合元认知数据选择筛选高价值训练样本。在忠实校准任务上，RLMF 在多种任务上取得可泛化的 SOTA 表现且保持准确率，相比标准 RL 提升最高达 63%，同时增强模型评估和表达自身能力边界的能力。
正文 · AI 翻译
摘要：元认知是智能的一个关键组成部分，它描述了监控和调节自身认知过程的能力。然而，LLM 在关键的元认知能力上表现出系统性缺陷：它们以高置信度产生幻觉、无法识别知识边界，并错误地表述其内部不确定性——这削弱了可信度和可靠性。由于监控任务表现并据此调整行为是元认知的核心，我们认为能够准确判断自身表现的模型更有能力改进其表现。我们通过两种新颖机制将这一理念付诸实践：带元认知反馈的强化学习（RLMF），一种在偏好优化过程中根据模型对自身表现自我判断的质量来优化完成排序的范式；以及元认知数据选择，它使用类似的自我判断来识别高价值训练样本，其表现优于朴素主动学习。我们将这些创新应用于忠实校准（FC）问题，这一任务本身从根本上就是元认知的：目标是使表达的不确定性与内在不确定性相一致，即便对前沿 LLM 而言也很困难。我们采用两阶段解耦方法，首先使用这些方法校准模型自报置信度分数的忠实性，然后通过有针对性的输出编辑映射为自然、可适应语境的语言不确定性。大量实验表明，RLMF 在多种任务上实现了可泛化的、最先进的 FC，同时保持准确性。此外，RLMF 比标准 RL 高出多达 63%，同时增强了模型评估和表达自身能力极限的能力。这使 RLMF 成为一种有前景的范式，可增强 LLM 元认知，从而提升能力与对齐，并表明元认知表现可作为一种有效的 RL 信号，以克服先前内在反馈方法的局限。
| 评论： | 代码：this https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.32032 [cs.CL] |
| （或 arXiv:2606.32032v2 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2606.32032 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Gabrielle Liu [查看邮箱]
[v1]
2026年6月30日星期二 17:56:01 UTC（3,482 KB）
[v2]
2026年10月12日星期一 18:08:52 UTC（3,520 KB）
来源：arXiv cs.AI · arxiv.org