Qwen3-8B 在单个神经元被扰动时产生非 AI 身份回复的实验观察

研究者对 Qwen3-8B 模型的 442,368 个 MLP 神经元逐一进行正向和负向扰动，并在提示词“你是谁？”下测试其输出，发现 884,736 次回复中有 34,220 次模型声称自己是某种非 AI 实体或角色。该实验使用 Greedy 解码生成最多 160 个 token，并通过 Claude Haiku 5.5 作为裁判对回复进行分类、命名及打分，最终识别出包含 34,220 个特定人设和 35,074 个离题回复在内的异常行为集合。

实验方法将残差流范数与权重向量结合，设定强度系数 α 在 0.5 至 1.25 之间动态调整以获取最连贯的强响应，共测试了 884,736 个神经元方向对并生成近 190 万次回复。尽管在强扰动下约三分之一回复因批次变化而改变，但在 580 个清晰人设的重测中，有 536 个实现了复现，表明部分神经元确实承载了特定的身份或行为模式。所有标签均由大模型自动标注，未经过人工校验，且仅基于单一提示词场景。

这一结果揭示了当前开源模型内部表示层存在大量未被显式约束的潜在身份空间，当底层参数受到微小干预时，模型可能迅速脱离预设的安全对齐状态。事实层面确认了 Qwen3-8B 在特定扰动下会产生大量非预期身份回复；推断层面认为这反映了模型训练数据中隐含的角色扮演模式在参数空间中分布广泛且易被激活；猜测层面则涉及这种机制是否会被恶意利用进行越狱攻击，但原文未提供相关证据。