AquaSense-ICS 论文指出混合数据集基准测试存在严重数据泄露导致虚假高指标

AquaSense-ICS 团队发布了一个结合真实边缘节点记录与 EPANET-MSX 仿真网络的智能水质监测混合数据集及基准，旨在解决现有机器学习研究在真实数据化学信息缺失或仿真数据缺乏传感噪声与攻击样本的困境。该数据集包含 25.4 小时的记录窗口、13 个节点的循环网络仿真、参数化攻击库以及由 TimeGAN 生成的增强序列，所有标签均可追溯至种子生成器或规则。

研究核心发现是传统基准测试方法存在致命缺陷：使用随机行划分和基于输入特征计算标签的方式会导致接近完美的虚假指标（例如 Random Forest 的 macro-F1 达到 0.9998），这源于数据泄露。作者提出了一种防泄露协议，改用时间顺序划分并保留未见过的攻击类型作为测试集。在该严格协议下，没有任何模型在攻击分类任务上超过常数“正常”预测器（macro-F1 仅为 0.465），最佳检测器在未见攻击类型上的平均 AUROC 为 0.64，且不同攻击类型的表现差异巨大（0.35 至 0.93）。

事实层面，该论文证实了在工业控制系统安全领域，简单的交叉验证无法反映模型在真实对抗环境下的泛化能力；推断层面，当前许多声称高效的 AI 安全检测方案可能仅在特定数据分布下有效，一旦面对时序依赖或新型攻击模式即失效；猜测层面，若行业继续忽视这种防泄露基准，可能导致大量部署的监测系统在实际遭遇未知攻击时出现大规模误判。数据集与代码已开源，但需警惕将旧基准结果直接迁移到新场景。