arXiv cs.AI· Ronaldo C. Prati, Elaine Ribeiro de Faria·· 4 小时前AI 评分31
面向延迟标签与分布漂移的数据流评估时间代数框架
A Temporal Algebraic Framework for Data Stream Evaluation Under Delayed Labels and Distribution Shifts
AI 导读
研究者扩展了一个代数框架,用指数衰减或滑动窗口对时间上的计数加权,从单一混淆矩阵同时得到数据流的池化(micro)与逐类(macro)指标,每步更新成本为 O(m^2) 且与流长度无关。
正文 · AI 翻译
摘要:在数据流中,标签往往迟到或仅部分实例有标签,类别流行率发生漂移,稀有类别在短窗口中消失。此时标准评估会将退化的决策边界与流行率变化相混淆,并且在标签延迟或由模型选择时存在偏差。我们扩展了一个代数框架,该框架从单个混淆矩阵获得汇总(微)和每类(宏)度量,并将其应用于数据流,通过指数衰减或滑动窗口对计数进行时间加权;每步更新成本为 O(m^2),与流长度无关,且每个汇总度量始终是各类度量的加权组合。延迟和选择性反馈以观测掩码的形式进入:在标签到达之前,实例使用模型校准后的类别概率进行计数,该临时估计的偏差由其校准误差驱动。经审计的约定对没有已验证实例的类别不报告值。我们通过监控无先验坐标(召回率和特异度)将先验偏移与概念漂移分开,并用一阶雅可比分解将度量的变化归因于这两个来源。在合成流和四个真实数据集上,基于这些坐标且每类具有记忆的检测器在标签偏移下不会产生过多误报,而雅可比警报和错误率检测器则不然。对延迟标签的校正在某些真实设置中恢复了召回率,但对精确率、特异度和 F1 仅部分有效。25 条陈述在 Lean 4 中进行了检查,代码位于 aggmetrics 包中。
| 评论: | 53 页,25 张表,2 张图。代码:此 https URL(实验),此 https URL(Lean 4 形式化),此 https URL(aggmetrics >= 0.4.0,子包 此 http URL) |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);数据库(cs.DB) |
| MSC 分类: | 68T05, 62H30, 62L10, 68V20 |
| ACM 分类: | I.2.6; H.2.8; G.3 |
| 引用为: | arXiv:2611.21914 [cs.LG] |
| (或 arXiv:2611.21914v1 [cs.LG] 为此版本) | |
| https://doi.org/10.48550/arXiv.2611.21914 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Ronaldo Prati [查看电子邮件]
[v1]
2026 年 11 月 16 日星期一 21:28:59 UTC(301 KB)
来源:arXiv cs.AI · arxiv.org