跳到正文
原文
arXiv cs.CL· Sina Daneshgar, Raya Namazi, Amirali Khosravi, Pouria Rouzrokh, Bardia Khosravi·· 5 小时前AI 评分70

EdgeDeID 0.6B 模型在无真实患者数据下实现本地化脱敏但泛化性存疑

EdgeDeID: A 0.6B Clinical De-identifier Trained Without Real Patient Data

AI 摘要

该研究提出 EdgeDeID,一个参数量仅 0.6B 的解码器架构脱敏模型,其核心创新在于完全使用由大语言教师生成的合成笔记进行训练,避免了直接处理真实患者数据带来的隐私泄露风险。在包含 100 条人工验证标注的合成基准测试中,该模型达到 0.994 的微 F1 分数,且 99% 的样本无漏检,显著优于八种现成系统(最高 F1 为 0.857)。量化后模型仅需 615 MB 内存即可在 CPU 上运行,具备极强的端侧部署潜力。

然而,当模型迁移至真实的 MIMIC ICU 护理笔记数据集时,F1 分数骤降至 0.48。分析表明,性能崩塌主要源于合成数据缺乏真实临床文本的两个关键特征:电报式简略风格(telegraphic style)和极低的标识符密度。虽然通过添加三个手写示例的上下文提示可挽回 0.08 的 F1 分数,但这并未解决根本问题。此外,研究中尝试的三种监督学习增强手段中,仅有验证器适配器(verifier adapter)有效区分了其他系统的输出完整性,而基于召回率加权的强化学习与规则后处理层在域内结果上未产生任何提升。

事实层面,EdgeDeID 证明了合成数据训练在受控环境下的有效性及端侧运行的可行性;推断层面,这表明当前“无需真实数据”的训练范式在医疗等高风险领域存在严重的分布偏移风险,单纯依赖合成数据可能无法覆盖真实世界的复杂性;猜测层面,若要在真实临床环境中应用此类模型,必须引入混合数据策略或针对特定机构的数据微调,否则其安全性与可靠性将大打折扣。

来源:arXiv cs.CL · arxiv.org