arXiv cs.CR· Talal Alrawajfeh, Cristiana Diaconu, Ossi R\"ais\"a, Sebastian Rodriguez Beltran, Yuan He, John Bronskill, Richard E. Turner, Antti Honkela·· 6 小时前AI 评分62
PrivTab 通过架构内嵌差分隐私机制实现高效可证明隐私的分类任务
Efficient Provably Private Classification with a Tabular Foundation Model
AI 摘要
arXiv 发布名为 PrivTab 的表格基础模型,其核心创新在于将差分隐私机制直接嵌入模型架构,而非依赖传统的外部优化过程。该模型在模拟数据集上预训练,利用上下文学习(in-context learning)将敏感行转换为紧凑且可证明隐私的摘要,从而在中等至强隐私约束下实现准确预测。
实测数据显示,与传统私有线性及神经网络基线相比,PrivTab 在强隐私条件下表现出极低的成员推断泄露风险,同时保持校准良好的预测结果。最关键的性能指标是拟合时间减少了 10,000 倍,仅需单次前向传播即可完成,彻底消除了传统方法中耗时的特定数据集优化步骤。这一机制使得模型在处理医疗、金融等包含敏感个体信息的表格数据时,能够兼顾形式化隐私保证与推理速度。
事实层面,该研究证明了将隐私约束内嵌于基础模型架构的可行性,解决了现有表格模型缺乏形式化隐私保证且易受攻击的问题。推断层面,这种架构设计可能改变隐私计算的行业标准,使原本因合规成本或性能损耗而无法落地的敏感数据分析场景变得可行。猜测层面,若该模型能成功迁移到真实世界的复杂表格数据,可能会推动端侧设备在本地处理高敏感数据时的普及,但具体部署效果仍需验证其在非模拟数据上的泛化能力。
来源:arXiv cs.CR · arxiv.org