arXiv cs.AI· Niclas Flehmig, Mary Ann Lundteigen, Shen Yin·· 12 小时前AI 评分31
COMET：面向人类监督 AI 安全系统的协同多层运行时监控框架
COMET: A coordinated multi-layer runtime monitoring framework for human-supervised AI-enabled safety systems
AI 导读
COMET 是一个协同多层运行时监控框架，包含信号完整性、物理一致性和 AI 系统能力边界三层监控，各层锚定不同故障模式，输出经协调层汇总并由通信层映射为交通灯式显示。
正文 · AI 翻译
摘要：将 AI 系统纳入安全系统需要监控，以避免静默故障并确保安全可靠运行。单一监控器往往无法为充当系统自适应控制器的人类监督者提供可操作的信息。我们提出 COMET，一个面向人类监督的 AI 使能安全系统的协同多层运行时监控框架，其中每个监控器锚定于不同的故障模式。监控器输出在协调层中组合，并由通信层映射为交通灯显示。在本工作中，COMET 由三个监控层组成：信号完整性、物理一致性和 AI 系统的能力包络。该框架在一个压缩空气泄漏的开放数据集上评估，其中 AI 系统通过声发射检测泄漏，并设置留出条件模拟协变量偏移、语义偏移和传感器故障——这些是运行时预期会发生但确切表现未知的事件。所有监控器在开发后冻结并进行零样本测试，框架与无监控和单监控器设置进行比较。裸 AI 系统在全部三种偏移类型下都会静默且自信地失败，而 COMET 在协变量偏移的无泄漏数据和四种传感器故障中的三种上将可信错误答案率降至零，名义误报率约为 $\approx 1\%$。单一监控器在检测上接近，但无法归因故障模式。COMET 将其匿名的检测标志转化为诊断。语义偏移下残余的静默漏检定义了被动监控的边界。因此，面向 AI 使能安全系统的运行时监控框架必须将定量故障检测与隔离同定性的、面向人类的反馈相结合。
| 评论： | 相关 GitHub 仓库，见 此 https URL |
| 主题： | 人工智能 (cs.AI) |
| 引用为： | arXiv:2610.29816 [cs.AI] |
| （或 arXiv:2610.29816v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.29816 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Niclas Flehmig [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 14:40:34 UTC（157 KB）
来源：arXiv cs.AI · arxiv.org