Cammarata新论文质疑机制可解释性超位理论

Nathan Cammarata 发布新文章挑战机制可解释性领域的核心假设，将曾被广泛引用的“猫脸与车头”多义性（polysemanticity）神经元重新定义为 V 形检测器，并质疑稀疏自编码器（sparse autoencoder）解耦超位（superposition）的必要性。他主张网络并非杂乱地打包无关概念，而是通过“递归泛化”（recursive generalization）构建层级语义，这一观点若成立，意味着人类理解 AI 内部逻辑的难度被高估了。 在证据细节上，Cammarata 引用 Qwen3-32B 模型的初步数据指出，约 90% 的神经元极具有单一主要功能，仅 2% 至 4% 无法解释，这与过去认为只有极少数神经元可理解的悲观结论形成对比。Goodfire 团队利用自动化代理分析了大规模模型，发现类似结果延伸至万亿参数规模。然而，Google DeepMind 的可解释性负责人 Neel Nanda 对此持保留态度，他认为语言模型存储的事实远超神经元数量，且小模型上的发现未必适用于前沿大模型，坚持认为超位现象依然存在。 如果 Cammarata 的论点被证实，将对 AI 安全产生深远影响。当前缺乏有效手段来识别模型是否欺骗或表现出危险行为，而可解释性的突破将使人类能够像阅读文本一样直接读取网络电路中的意图。OpenAI 员工 Roon 甚至推测这可能降低 Eliezer Yudkowsky 等人士对灾难风险的预估。事实层面，该文章提出了新的解释框架；推断层面，这可能导致自动化工具取代部分人工分析工作；猜测层面，关于其能否完全解决对齐问题仍存在争议。