新构建的时序分离数据集VentiVul显示深度学习漏洞检测模型泛化能力严重不足

该研究通过构建包含200个来自Linux和Chromium近期漏洞的时序分离离群分布（OOD）数据集VentiVul，系统评估了Devign、ReVeal、LineVul、VulBERTa四种深度学习模型及四个开源权重大语言模型的现实有效性。实验发现，尽管这些模型在Juliet、Devign、BigVul等基准数据集上表现强劲，但在VentiVul上性能急剧下降，大多数模型无法可靠检测漏洞或区分漏洞函数与其修复后的对应版本。

深入分析表明，当前的图神经网络和Transformer表示方法难以有效区分脆弱与非脆弱代码，且模型在不同分布特征的数据集间泛化能力极差。作者利用t-SNE和质心距离分析指出，现有表征未能捕捉到与漏洞修复变化相关的模式，导致学术基准测试的高分无法转化为实际部署中的可靠性。这一结果暴露了学术界常用数据集中存在的合成样本、启发式标签和标注噪声问题，使得模型学习到了虚假的相关性而非真实的漏洞特征。

事实层面，研究证实了从实验室基准到现实部署存在显著差距，现有模型在处理时序更新的真实漏洞时失效。推断层面，这意味着当前依赖静态基准评估的代码安全工具可能高估了其实际防御能力，特别是在面对快速演变的威胁环境时。猜测层面，未来若不能解决数据分布差异和高质量标注问题，基于深度学习的自动化漏洞检测技术将难以在工业界大规模落地，需转向更鲁棒的表征学习和考虑修复变化的评估框架。