Canaries 实验显示 SFT 中掩码上下文控制着大语言模型的记忆机制

这篇来自 arXiv cs.CR 的论文通过受控微调实验指出，使用包含已知秘密的合成记录（Canaries）来评估语言模型是否泄露训练数据时，测量结果高度依赖于 Canaries 本身的呈现方式，而非单纯由重复次数决定。研究发现，当训练输入中包含秘密时，模型可能复述该秘密；但若在测试时移除该信息，即使经过大量重复训练，模型也可能无法回忆起来。反之，若训练任务要求模型根据周围上下文预测秘密，后续的记忆召回则变得可靠。

证据细节显示，改变 Canaries 出现的时间点或伴随的其他 Canaries，都能显著改变测得的记忆水平，而无需增加该特定 Canaries 的重复计数。这一发现挑战了仅凭重复频率来表征记忆的传统假设，表明记忆的形成与提取受到训练阶段上下文结构的强约束。作者强调，审计工作必须验证其结论在不同呈现和测试选择下是否成立，才能将其推广到其他训练记录。

事实层面确认了上下文结构对记忆的关键作用；推断层面意味着现有的隐私审计方法若忽略上下文变量可能导致误判；猜测层面在于未来对齐策略可能需要针对特定上下文模式进行优化，而非简单增加数据量。对于从业者而言，这意味着在评估模型安全性时，不能仅关注数据清洗或去重，还需审视训练数据的上下文构建逻辑。