Reddit · MachineLearning· /u/jnbrymn·· 10 小时前AI 评分75
Astra、Opus 5.5 和 Muse Spark 1.3 能直接读取神经网络权重文本并识别 Pac-Man 游戏
AI can read neural network weights. I wasn't ready for that. [D]
AI 摘要
Reddit 用户 jnbrymn 分享了一项实验:将包含 17,253 个参数的神经网络权重以纯 tokenized 文本形式输入给大模型,Astra、Opus 5.5 和 Muse Spark 1.3 均成功推断出该网络正在运行 Pac-Man 游戏。其中 Astra 模型仅需极少的推理步骤即可完成识别,显示出惊人的直接映射能力。
这一发现的核心在于,通常没有任何论文或文档会详细解释特定权重的具体功能,但模型却能从原始数值中“读出”语义。作者推测这并非实验室刻意训练的结果,而是模型在预训练阶段习得的泛化能力远超预期。这种能力暗示模型可能已经内化了神经网络的底层表示规律,能够像人类专家一样解读权重分布所代表的行为模式。
事实层面,三个不同厂商的模型(Astra、Opus 5.5、Muse Spark 1.3)均通过了该测试,且无需外部工具调用。推断层面,这表明当前前沿模型的内部表征可能比公开披露的训练目标更复杂,它们可能在不被显式指令的情况下掌握了结构化的逻辑推理。猜测层面,如果模型能如此轻易地解析权重,那么针对模型内部状态的监控、对抗性攻击以及模型安全对齐将面临新的未知风险,因为传统的黑盒假设可能不再成立。
来源:Reddit · MachineLearning · reddit.com