跳到正文

#端侧

今日 2 条
今天10月2日周五
  1. arXiv cs.CR68

    MOMAT 用多图集混合与 CiM 加速为量化 LLM 提供低功耗越狱防御

    MOMAT 是一个面向端侧量化大语言模型的安全框架，通过结构化知识检索和低功耗硬件加速来抵御越狱攻击。论文指出，量化会削弱大语言模型的对齐保护，使 qLLM 更容易被越狱；MOMAT 的应对方式不是单纯扩大安全数据库，而是把有害与良性样本、策略模板组织成多个语义图集，再对每条 prompt 做跨图集 top-k 检索和轻量 MoE 检测。 细节上，MOMAT 将检索任务放进 CiM 存内计算加速引擎执行，论文给出的对比数据显示，100 条查询批处理从 15,052.44 ms 降到 3,207.21 ns，能耗从 8.1×10^7 μJ 降到 3.32 μJ，相对 DRAM 基线分别获得约 4.69×10^6 倍加速和约 2.5×10^5 倍能耗下降。作者同时称红队评测中其防御效果与现有方法相当，并减少误伤良性请求，还计划开放 223.2k 样本数据集。 事实是论文提出了图集化 RAG 防护、MoE 检测与 CiM 检索的组合，并报告了显著效率指标；推断是这种模块化硬件路径可能更适合端侧 qLLM 的实时安全过滤；猜测是若 CiM 硬件可得且数据集有效，该方案可能影响边缘设备上的安全部署架构。

    推荐理由：它把量化模型越狱防御从软件检索转向 CiM 硬件加速，可能改变端侧安全方案对延迟与能耗的取舍判断。

  2. arXiv cs.AI78

    论文测量现成 SLM 在 Agent 微任务上的资格缺口：16 个 Qwen3 配置均未达阈值

    这篇 arXiv 论文测试现成小语言模型能否在 Agent harness 中承担围绕主 LLM 规划器的微任务，例如自动批准 shell 命令、写入记忆、选择工具和排序历史轮次。作者构建了 4 个固定提示、自动指标和预设阈值的基准，阈值锚定廉价非 LLM baseline，并要求配置的置信区间下界超过阈值才算合格。 在不调参、仅用 FP16、greedy 和单一冻结提示的条件下，Qwen3 0.6B、1.7B、4B、8B 的 16 个任务与模型组合全部未通过，作者通过检查原始输出和 parser 行为确认结果。logprob 决策阈值诊断把失败分为能力不足和可通过改变解码阈值修复两类；4-bit 量化（RTN/GPTQ/AWQ）造成的损害取决于模型规模，但没有让任何配置达到资格，且结果在 Llama-3.x 上复现，12 个配置均不合格，对阈值扫描和提示改写也稳健。 事实层面，论文给出的核心结论是现成 SLM 不能直接通过这类微任务的严格资格门槛。推断层面，作者建议把 SLM 放在已满足阈值要求的 baseline 之后，只在 baseline 失败时调用；例如 4B 模型对 BM25 短列表重排序可提升 0.047，但它本身仍未通过资格认证。猜测层面，这意味着 Agent 系统若追求低延迟或低成本，不应把关键微任务直接交给未校准的小模型，而应设计 baseline、阈值或级联机制来兜底。

    推荐理由：它用置信区间门槛证明现成小模型在 Agent 微任务上普遍不合格，提醒不要把 SLM 直接替换关键路由层。