arXiv cs.AI· Haodong Chen, Shengtao Wen, Dong Liang, Lingbing Guo, Xiang Chen·· 5 小时前AI 评分65
论文提出 FASD 方法解耦多模态大模型的遗忘与拒绝学习以达成诚实无知状态
Decoupling Knowledge Forgetting and Refusal Learning in MLLM Unlearning
AI 摘要
该研究指出当前多模态大模型(MLLM)的遗忘评估仅关注是否停止输出目标信息,掩盖了两种关键失效模式:一是知识抑制技术常引发模型对已遗忘主题产生事实性幻觉;二是拒绝训练仅改变可观测行为而未擦除底层知识,导致模型在多项选择题探测下仍能识别正确答案。
为解决上述问题,作者提出遗忘感知自蒸馏(FASD)方法,将目标拆分为行为通道与知识通道两个互补路径。行为通道从自身被遗忘提示触发的副本中蒸馏适当的拒绝响应,同时屏蔽目标 token 以防意外重教;知识通道则独立于生成响应直接压制真实答案片段。实验表明该方法成功实现了目标知识的遗忘,防止开放任务中的信息泄露,并保留了保留数据上的性能。
这一成果揭示了当前 MLLM 遗忘技术的评估缺陷,即表面合规可能伴随深层知识残留或幻觉风险。FASD 通过强制模型承认知识边界而非单纯回避回答,为构建具备自我认知能力的 AI 系统提供了新的技术路径。文中未提及具体基座模型名称、参数量及测试数据集细节,代码与数据将在发表后公开。
来源:arXiv cs.AI · arxiv.org