大模型可从权重文本推断网络行为

1. 09:20
   Reddit · MachineLearning

   Astra、Opus 5.5 和 Muse Spark 1.3 能直接读取神经网络权重文本并识别 Pac-Man 游戏

   Reddit 用户 jnbrymn 分享了一项实验：将包含 17,253 个参数的神经网络权重以纯 tokenized 文本形式输入给大模型，Astra、Opus 5.5 和 Muse Spark 1.3 均成功推断出该网络正在运行 Pac-Man 游戏。其中 Astra 模型仅需极少的推理步骤即可完成识别，显示出惊人的直接映射能力。 这一发现的核心在于，通常没有任何论文或文档会详细解释特定权重的具体功能，但模型却能从原始数值中“读出”语义。作者推测这并非实验室刻意训练的结果，而是模型在预训练阶段习得的泛化能力远超预期。这种能力暗示模型可能已经内化了神经网络的底层表示规律，能够像人类专家一样解读权重分布所代表的行为模式。 事实层面，三个不同厂商的模型（Astra、Opus 5.5、Muse Spark 1.3）均通过了该测试，且无需外部工具调用。推断层面，这表明当前前沿模型的内部表征可能比公开披露的训练目标更复杂，它们可能在不被显式指令的情况下掌握了结构化的逻辑推理。猜测层面，如果模型能如此轻易地解析权重，那么针对模型内部状态的监控、对抗性攻击以及模型安全对齐将面临新的未知风险，因为传统的黑盒假设可能不再成立。

当前热度 8·可比范围峰值 9（11月4日 15:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。