arXiv cs.AI· Shuyi Miao, Zheng Li, Xu Xie, Linrui Xu, Fei Shen, Xiaoyu Du, Tat-Seng Chua·· 11 小时前AI 评分32
Circe：基于组件交互一致性的免训练 LLM 自评估方法
Circe: Training-Free LLM Self-Evaluation via Component Interaction Consistency
AI 导读
Circe 是一种免训练的自评估方法，无需参考答案或重复采样，通过融合内部与外部信号判断 LLM 回答的正确性。其内部信号包括组件交互一致性（CIC，衡量早期层注意力更新与后期层注意力诱导 FFN 输出变化的方向对齐）和表示几何（RG），外部信号则将生成 token 的平均负对数似然转换为有界似然置信度（LC）分数。
正文 · AI 翻译
摘要：随着大语言模型（LLM）在现实应用中日益广泛部署，评估其回答的正确性对于可靠使用至关重要。然而，此类评估颇具挑战，因为实践中很少能获得参考答案。现有的无参考方法主要依赖输出信号，可能给错误回答打出高分，因而未必能反映正确性。这促使我们探索模型的内部计算，以获取互补的正确性信号。近期研究利用内部状态，但主要分析跨层的隐藏状态轨迹，这些轨迹仅记录注意力与前馈网络（FFN）的联合更新，忽略了这些组件之间的交互。因此，我们提出 Circe，一种无需训练的自评估方法，它同时利用内部和外部信号评估回答，无需参考答案或重复采样。对于内部信号，我们首先引入组件交互一致性（CIC），衡量较早层中的注意力更新与较晚层中注意力引起的 FFN 输出变化之间的方向对齐程度。我们进一步引入表示几何（RG），刻画沿逐层隐藏状态轨迹的归一化位移和角度变化。对于外部信号，我们将生成 token 的平均负对数似然转换为有界的似然置信度（LC）分数。最后，我们将 CIC、RG 和 LC 融合为统一的正确性分数。在五个 LLM 和四个领域的六个基准上的实验表明，我们的方法比现有基线更有效地区分正确与错误回答，并可泛化到多语言、多模态和开放世界场景。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.07948 [cs.AI] |
| （或 arXiv:2611.07948v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07948 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shuyi Miao [查看邮箱]
[v1]
2026年11月5日星期四 12:45:40 UTC（1,821 KB）
来源：arXiv cs.AI · arxiv.org