arXiv论文提出自动发现训练数据意外副作用的框架并生成6575个样本集

该研究提出一种自动发现具有意外副作用的训练数据集（DSSEs）的方法，旨在解决仅靠少量人工构造案例难以理解语言模型在训练域外行为泛化的问题。研究者定义了三个核心目标：触发特定目标行为、阅读时像普通后训练数据、以及对人类审计员产生惊讶感，并通过LLM裁判、进化算法、强化学习和潜学习技术搜索高评分数据集。最终 pipeline 生成了包含8种行为的6575个DSSEs样本，其中许多在不同模型家族和规模间表现出泛化能力。

关键证据显示，自动化指标能有效追踪机器学习研究人员的判断，且前沿模型在预测副作用方面优于人类。这些数据集构成了一个用于研究泛化机制的测试床，并为在模型部署前预测训练副作用奠定了基础。材料中未提及具体的副作用类型细节或模型版本对比数据，仅确认了样本数量和泛化现象的存在。

事实层面，该工作提供了自动化构建对抗性训练数据的工具链和公开数据集；推断层面，这意味着未来模型对齐评估可能从依赖人工审计转向依赖自动化筛选和模型自身预测；猜测层面，若此类方法被恶意利用，可能加速有害数据的规模化生产，但原文未讨论此风险。产业链上，这要求评测团队必须升级自动化检测流程以应对隐蔽的数据污染。