arXiv cs.AI· Hoang Pham Cong, Long D. Nguyen, Ho Viet Duc Luong, Nguyen Tran Minh Nhat, Binh P. Nguyen, Huynh Thi Thanh Binh·· 10 小时前AI 评分29
GUARD:面向冻结多模态模型缺失模态场景的风险受控校正方法
Risk-Controlled Correction for Frozen Multimodal Models under Missing Modalities
AI 导读
针对权重已冻结的多模态模型在模态缺失后无法重训的问题,研究者提出 GUARD(Gated Utility-Aware Recalibration for Deployment),在不改动原模型的前提下通过检索估计候选校正、用部署匹配的标注数据学习何时校正有效,并以保形风险控制校准阈值。
正文 · AI 翻译
摘要:已部署的多模态预测器在其权重无法再更改后,可能面临模态缺失的问题。这引出了一个训练时修复无法回答的问题:由此产生的误差中,哪一部分仍可依据剩余信息加以纠正?我们证明,这一部分由贝叶斯差距刻画,即模型预测与给定观测模态下的贝叶斯预测之间的差异。对于交叉熵和平方误差,超额风险以损失的几何度量这一差距;观测模态中的歧义无法消除。因此,严重退化的预测未必是可纠正的。估计贝叶斯预测通常需要标签。然而,当观测到更多模态的模型条件正确时,以剩余模态为条件对其输出取平均,无需检索标签即可恢复该目标;在相同的固定混合与邻居下,其期望交叉熵或 Brier 风险不劣于对硬标签取平均。某种此类假设不可避免:否则目标无法仅从无标签数据中辨识。GUARD(Gated Utility-Aware Recalibration for Deployment,面向部署的门控效用感知重校准)保持已部署预测器不变。它通过检索估计候选校正,从与部署匹配的标注数据中学习校正何时可能有益,并通过保形风险控制在留出划分上校准阈值。在可交换性下,无论学习到的分数如何,GUARD 施加的校正导致损失增加超过规定容差的边际概率被限制在预设水平以内。在受控实验中,校正增益随余量而非原始误差变化;在跨越六个领域的九个冻结模型-数据集对上,GUARD 在整体校正常常超出的危害预算内保留了其大部分增益。
| 评论: | 代码:此 https URL |
| 主题: | 人工智能(cs.AI);机器学习(stat.ML) |
| 引用为: | arXiv:2611.23886 [cs.AI] |
| (或 arXiv:2611.23886v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23886 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Hoang Pham Cong [查看邮箱]
[v1]
2026年11月18日星期三 05:39:35 UTC(438 KB)
来源:arXiv cs.AI · arxiv.org