TARGRS框架提出以降低LLM测试时毒性

这篇来自 arXiv 的论文提出了 TARGRS（Transition-Aware Reward-Guided Representation Sampling）框架，旨在解决现有表示导向方法在测试时去毒化中因静态或粗糙干预导致的指导不精确问题。该方法通过在潜在表示空间中学习针对毒性过渡的奖励引导，利用探索阶段沿毒性方向构建从非毒性到毒性状态的轨迹，将稀疏标注转化为用于过渡感知 token 级奖励模型的密集列表式监督。在推理阶段，该框架使用此模型沿相反的非毒性方向进行由粗到细的采样，先识别达到非毒性区域所需的干预，再选择扰动最小的去毒化表示。 实验数据显示，TARGRS 在 RealToxicityPrompts、BOLD 和 AttaQ 三个数据集上的 10 个大语言模型上均优于最先进基线，在 RealToxicityPrompts 上将毒性降低了高达 69.38%。此外，该方法不仅适用于大语言模型，还扩展到了大型视觉语言模型（LVLMs），在 3 个代表性 LVLM 上将毒性降低了高达 64.23%，同时保持了与原始模型相近的运行速度和对核心能力的最小影响。这些结果是基于对语言解码器空间的干预实现的。 事实层面，该研究明确展示了在特定数据集和模型架构下通过动态轨迹建模提升去毒效果的具体数据。推断层面，这种“过渡感知”机制可能成为未来测试时对齐（test-time alignment）的重要范式，因为它解决了传统方法难以处理连续状态空间的问题。猜测层面，虽然论文声称保留了核心能力，但在极端复杂的多模态场景下，这种精细干预是否会导致推理延迟增加或产生新的对抗性漏洞，仍需更多工程实践验证。