arXiv cs.MA· Joss Armstrong·· 9 天前AI 评分30
MARGIN：面向多智能体基础模型协调的运行时置信度校准
MARGIN: Runtime Confidence Calibration for Multi-Agent Foundation Model Coordination
AI 导读
MARGIN 是一种运行时校准方法，通过跟踪各模型近期准确率与自报置信度的比值来修正置信度，无需重训练模型或预留校准集。在覆盖代码生成、问答和数学的评测中，使用 18 个模型池，MARGIN 在两次代码生成迁移上的预期校准误差低于全部五个在线校准基线，问答迁移上低于其中四个。在代码生成协调实验中，校准使答案选择准确率相比未校准的置信度加权提升 4.3 和 14.0 个百分点。
正文 · AI 翻译
摘要：当协调者比较来自异构基础模型的答案时，自我报告的置信度在不同响应者和变化的工作负载下可能具有不同的含义。本文提出了 MARGIN（通过增量归一化的多智能体运行时评分），一种运行时校准方法，它从观察到的答案结果中学习特定于模型的置信度修正，而无需重新训练模型或需要留出的校准集。MARGIN 在置信度区间内跟踪近期准确率和声明的置信度，使用它们的比率来修正报告的置信度，并将稀疏区间的修正向模型级估计混合。修正后的分数在集体决策中对候选答案进行加权。评估涵盖代码生成、问答和数学，使用 18 个模型池和 9 个模型子集进行分布偏移实验。在 BigCodeBench 上，模型平均置信度与准确率呈负相关；在正确/错误响应对中，选择更自信的响应者的表现低于随机水平。相对于五个在线校准基线（接收相同的反馈并在每次转换中保留其学习状态），MARGIN 在两次代码生成转换中实现了比所有五个基线更低的后偏移期望校准误差，在一次问答转换中比四个基线更低；剩余的问答比较尚无定论。在单独的代码生成协调实验中，校准改善了正确响应的排名，并在三个基准中的两个上相对于未校准的置信度加权将答案选择准确率提高了 4.3 和 14.0 个百分点。这些结果支持在参与响应者可获得正确性反馈时，针对变化工作负载下的协调进行特定于模型的运行时校准。
| 主题： | 机器学习（cs.LG）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2605.22949 [cs.LG] |
| （或 arXiv:2605.22949v4 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.22949 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Joss Armstrong [查看电子邮件]
[v1]
2026年5月21日星期四 18:25:05 UTC（207 KB）
[v2]
2026年5月27日星期三 16:57:17 UTC（208 KB）
[v3]
2026年7月31日星期五 14:06:03 UTC（237 KB）
[v4]
2026年10月8日星期四 11:10:45 UTC（147 KB）
来源：arXiv cs.MA · arxiv.org