跳到正文
原文
arXiv cs.CR· Mrityunjay Shukla, Shubham Roy, Biswabandan Panda·· 5 小时前精选AI 评分80

LLM 推理服务器因 Rowhammer 攻击导致延迟增加 4-16% 且输出可能受损

Amplifying Latency and Cost of LLM Inference via Rowhammer Attack

AI 导读

这篇 arXiv 论文提出 LLVMhammer,这是首个利用 CPU DRAM 中的 Rowhammer 位翻转攻击来降低基于 GPU 的大语言模型(LLM)推理性能的攻击方法。攻击者通过在 Triton 即时编译框架的关键优化阶段引发位翻转,生成功能相同但次优的 GPU 内核。由于 Triton 将生成的内核缓存于磁盘,单次成功的位翻转会导致后续推理执行出现持久性延迟。

实验在 NVIDIA RTX 4090 和 AMD RX 7900 XTX 等多款 GPU 上验证了该攻击对 Qwen2.5、Llama-3.1、Mistral 和 Deepseek 等模型的影响。结果显示,单卡 LLM 推理服务器的延迟增加了 4-16%,在多卡部署规模下可转化为显著的年度运营成本增加。此外,攻击还能破坏模型输出,使 BERTScore 降至 25%,证明了 Triton 编译管道中位翻转的广泛安全风险。

事实层面,该研究证实了跨厂商 GPU 的通用攻击可行性及具体的性能损耗数据;推断层面,这意味着现有的推理服务安全模型需纳入硬件层面的物理攻击防御;猜测层面,若此类攻击被自动化或规模化,可能成为针对特定算力基础设施的新型勒索或干扰手段,但目前尚无证据表明其已大规模商用化。

推荐理由

揭示通过内存位翻转破坏编译器优化导致推理延迟与成本上升的机制,为端侧与云侧推理安全提供新评估维度。

来源:arXiv cs.CR · arxiv.org