一篇 arXiv 论文提出用分类法对齐的 LLM 框架检测 OSS 供应链攻击

该论文提出一个面向开源软件供应链威胁的分类法对齐大语言模型框架，用于自动检测和分类 typosquatting、dependency confusion、Trojan Source obfuscation、malicious build injection 与 CI/CD pipeline poisoning 等攻击。作者构建了覆盖 2018 至 2026 年的 999 条已验证真实事件数据集，来源包括 GitHub Security Advisories、CISA alerts 和安全研究报告。

使用 GPT-4 并结合分类法对齐提示工程后，该框架在五类威胁上的多分类准确率和 macro F1 均为 97.0%。对照实验中，微调后的 Llama 3.1 8B 为 70.5%，SecRoBERTa 为 77.5%，均低于简单 TF-IDF 分类器的 82.3%；未做分类法对齐的 Mistral 7B 只有 65.7%。论文据此认为，在该任务中，分类法对齐的提示工程比模型规模、领域预训练或微调更关键。

事实是论文给出了数据集、基线和准确率结果，并公开代码与数据。推断是若该结果可复现，开源安全检测工具可以先用结构化分类法和提示工程提升分类效果，而不是优先投入微调。猜测是这一结论是否适用于更复杂或跨语言的供应链攻击场景，仍需更多外部验证。