跳到正文
原文
arXiv cs.CR· Yixin Tan, Jiayang Liu, Lu Sun, Yuke Hu, Zheng Li, Rui Wen·· 5 小时前AI 评分75

MoE 路由遥测泄露模型微调成员信息

When Routing Reveals Membership: Privacy Leakage from MoE Router Telemetry

AI 摘要

针对混合专家(MoE)语言模型,研究者提出一种结合输出信号与聚合路由特征的增强型成员推断攻击。该攻击在三种架构和三个数据域上,将误报率 1% 时的真阳性率提升了 2.7 至 9.4 个百分点。研究证实即使路由器参数冻结或仅离散选择专家,微调引入的成员信息仍会通过路由遥测暴露。

来源:arXiv cs.CR · arxiv.org