MOMAT 用多图集混合与 CiM 加速为量化 LLM 提供低功耗越狱防御

MOMAT 是一个面向端侧量化大语言模型的安全框架，通过结构化知识检索和低功耗硬件加速来抵御越狱攻击。论文指出，量化会削弱大语言模型的对齐保护，使 qLLM 更容易被越狱；MOMAT 的应对方式不是单纯扩大安全数据库，而是把有害与良性样本、策略模板组织成多个语义图集，再对每条 prompt 做跨图集 top-k 检索和轻量 MoE 检测。

细节上，MOMAT 将检索任务放进 CiM 存内计算加速引擎执行，论文给出的对比数据显示，100 条查询批处理从 15,052.44 ms 降到 3,207.21 ns，能耗从 8.1×10^7 μJ 降到 3.32 μJ，相对 DRAM 基线分别获得约 4.69×10^6 倍加速和约 2.5×10^5 倍能耗下降。作者同时称红队评测中其防御效果与现有方法相当，并减少误伤良性请求，还计划开放 223.2k 样本数据集。

事实是论文提出了图集化 RAG 防护、MoE 检测与 CiM 检索的组合，并报告了显著效率指标；推断是这种模块化硬件路径可能更适合端侧 qLLM 的实时安全过滤；猜测是若 CiM 硬件可得且数据集有效，该方案可能影响边缘设备上的安全部署架构。