Reddit · MachineLearning· /u/rage_81·2026-10-11 22:25· 5 小时前AI 评分42

41.4 万参数 Transformer 如何飞越鸟群：规则可被探针读取

I trained a 414k-parameter transformer to fly a boids flock, then tested whether the rules a probe can read are the ones it uses [P]

AI 摘要

作者训练了一个仅含 41.4 万参数的 Transformer 模型，使其在未见过的片段上以 R² 0.990 至 0.994 的准确率预测鸟群运动。线性探针显示，凝聚规则可在训练前读取，而对齐规则依赖第二层注意力机制。该模型还能泛化至 50 只鸟，但发现其并未像预期那样利用整个鸟群信息。