LEMON 通过等变学习实现跨大语言模型的零样本误用行为监控

该论文提出 LEMON（Language-model Equivariant MOnitoring Network），一种基于在线图神经网络的监控器，旨在解决现有内部表示监控器无法跨不同大语言模型零样本迁移的问题。传统方法依赖特定模型的激活探针，面对新模型出现时需昂贵重标注，而外部 LLM 监控成本过高。LEMON 将跨模型注意力图的差异特征化为代数对称性，利用几何深度学习原理构建预测不变性，从而在无需重新训练的情况下检测幻觉和越狱行为。

实验覆盖 16 个大语言模型和六个数据集，在零样本跨模型设置下，LEMON 在幻觉和越狱监控任务上均优于所有基线模型，最强提升达 14 个 ROC-AUC 点。其核心机制是按令牌处理注意力图，每生成一个令牌或窗口即可输出分数，计算成本可忽略不计。这一结果证实了将注意力头功能、排序及深度差异视为对称变换的可行性，突破了以往内部监控器必须绑定特定架构的限制。

事实层面，LEMON 确实在 16 个模型上实现了零样本迁移且性能超越基线；推断层面，该技术可能显著降低大模型部署前的安全验证周期与算力开销；猜测层面，若该方法能进一步适配多模态模型或实时流式处理场景，或将成为行业标准的安全监测组件。目前材料未提及具体部署环境限制或与其他对齐技术的结合细节。