arXiv cs.AI· Niclas Flehmig, Mary Ann Lundteigen, Shen Yin·· 6 小时前AI 评分52
COMET 框架通过多层协同监控将 AI 安全系统的误信率降至零但暴露语义漂移下的漏检边界
COMET: A coordinated multi-layer runtime monitoring framework for human-supervised AI-enabled safety systems
AI 摘要
该论文提出 COMET 框架,一种针对人类监督的 AI 赋能安全系统的协调多层运行时监控方案,旨在解决单一监控器无法提供可操作信息的问题。在压缩空气泄漏检测的开放数据集上,该框架将信号完整性、物理一致性和 AI 系统能力包络三个监控层结合,成功将协变量漂移下无泄漏数据的“可信错误答案”率降至零,同时将误报率控制在约 1%。
实验显示,裸 AI 系统在三种漂移类型下均会沉默且自信地失败,而单点监控器虽能接近检测但无法归因故障模式。COMET 通过将匿名检测标志转换为具体诊断,解决了这一痛点。然而,研究也明确指出,残留的沉默漏检(silent misses)发生在语义漂移场景下,这定义了被动监控的能力边界,即仅靠量化故障检测与隔离不足以应对所有未知事件。
事实层面,该框架由三个冻结的监控层组成,测试时采用零样本方式;推断层面,这表明未来安全系统必须融合定量检测与定性反馈才能适应运行时变化;猜测层面,若行业忽视语义漂移导致的漏检边界,盲目依赖自动化监控,可能在复杂工况下引发系统性失效。
来源:arXiv cs.AI · arxiv.org