论文指出端云拆分多模态大模型的特征传输仍会泄露敏感属性且难以防御

该研究针对端云拆分推理的多模态大语言模型（MLLM）提出了一种基于标签预算的属性推断框架，通过恢复曲线量化表示级隐私，发现即使原始图像保留在本地，诚实但好奇的服务器仍能从中推断年龄、性别和种族等敏感属性。评估显示在未保护的管道中，中间特征无论拆分深度如何都会泄露所有三类属性，且现有保护措施在有限标签预算下无法完全阻断信息恢复。

具体证据表明，即便部署了如 Safe-LLaVA 这类移除响应中生物特征内容的防护机制，服务器仅需每类 20 个标记样本即可恢复未受保护泄露量的 75% 至 85%。这一结果挑战了仅依赖最终响应拒绝或固定分类器失败率来评估隐私保护的原有方法，证明其低估了自适应服务器的能力。文中强调这种泄露发生在传输的表示层面，而非输入或输出端。

事实层面确认了特征层存在高敏感度泄露风险；推断层面认为当前主流的分层防护策略若仅作用于输入或输出，可能不足以应对基于少量标注样本的攻击；猜测层面推测未来防御需直接针对传输中的表示进行干预，而非仅关注模型响应。该结论要求开发者重新评估端云架构下的隐私边界，特别是涉及生物特征数据的场景。