arXiv cs.AI· Alexander Herzog, Aliai Eusebi, Lorenzo Cavallaro·· 12 小时前AI 评分31
Aurora 框架：评估恶意软件分类器在分布偏移下的置信可靠性与操作稳定性
On the Reliability and Stability of Selective Methods in Malware Classification Tasks
AI 导读
研究者提出 Aurora 框架，从置信质量和操作韧性两个维度评估恶意软件分类器，并对模型置信度剖面做验证以判断估计是否可靠。Aurora 还配套一组指标，用于在时间评估周期内衡量操作稳定性，而非只看单点性能。在漂移程度不同的数据集上，SOTA 框架均表现出脆弱性，作者认为或需重新审视其底层假设。
正文 · AI 翻译
摘要：现代漂移自适应恶意软件分类器的性能数据看起来很有前景，但这是否转化为真正的运行可靠性？标准评估范式主要关注基线性能指标，忽视了置信度与误差的对齐以及运行稳定性。虽然先前的工作确立了时间评估的重要性，并在恶意软件分类任务中引入了选择性分类，但我们采取了一个互补的方向，研究恶意软件分类器在分布偏移下是否保持可靠且稳定的置信度估计，并探讨当它们不能保持时，科学进步与实际影响之间的张力。我们提出 Aurora，一个基于置信度质量和运行韧性来评估恶意软件分类器的框架。Aurora 对给定模型的置信度剖面进行验证，以评估其估计的可靠性。不可靠的置信度估计会侵蚀运行信任，在主动学习中将宝贵的标注预算浪费在无信息样本上，并在选择性分类中使易错实例未被检测到。Aurora 还辅以一组旨在超越时点性能的指标，力求在整个时间评估期内对运行稳定性进行更全面的评估。我们在不同漂移严重程度的数据集上观察到的 SOTA 框架的脆弱性表明，或许是时候重新审视底层假设了。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2505.22843 [cs.CR] |
| （或 arXiv:2505.22843v4 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2505.22843 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Aliai Eusebi [查看电子邮件]
[v1]
2025年5月28日星期三 20:22:43 UTC（4,778 KB）
[v2]
2025年6月25日星期三 09:30:26 UTC（423 KB）
[v3]
2026年1月21日星期三 18:26:18 UTC（212 KB）
[v4]
2026年10月27日星期二 14:20:53 UTC（407 KB）
来源：arXiv cs.AI · arxiv.org