跳到正文
原文
arXiv cs.CR· Hyeongjun Choi·· 6 小时前AI 评分52

MARS 论文显示大语言模型直接分类在恶意软件研判中比声明评分更准确

MARS: Malware Analysis with Rule-Based Scoring of LLM Claims

AI 摘要

该研究提出 MARS 框架,对比了大语言模型通过直接判定(verdict)与基于外部规则对行为声明(claims)进行评分两种恶意软件分流路径。在涵盖 1,195 个 PE 和 ELF 二进制文件及六个模型的评估中,直接分类在所有测试模型上均表现出更高的准确率,优势幅度介于 3.7 至 20.9 个百分点之间,且所有差异的 95% 置信区间均大于零。此外,直接分类在十二种平台与模型组合中有十种实现了更高的恶意警报召回率。

证据细节显示,声明中介化并未带来跨模型性能波动的一致降低;当移除预定义指标字段时,声明路径的召回损失更大。虽然家族识别探针发现声明在准确性上高于判定标签但低于证据文本,但核心结论在于:若仅需最终判定结果,直接分类显著优于声明路径。然而,保留声明具有独特价值,它能暴露判定计算所需的输入,允许在不重新调用模型的情况下进行策略审查与修订,研究团队成功复现了归档判定并应用了修订后的策略。

事实层面,直接分类在准确率与召回率上全面胜出是实验观测结果;推断层面,这意味着当前依赖 LLM 生成详细行为描述再经规则引擎处理的架构可能引入不必要的精度损耗;猜测层面,未来针对需要可解释性或动态策略调整的安全场景,混合模式(直接判定为主、声明为辅用于审计)可能成为更优解,但这需进一步验证策略修订带来的实际收益是否足以抵消精度损失。

来源:arXiv cs.CR · arxiv.org