15M 参数决策模型线性循环与 Transformer 对比实验

作者通过端到端实验对比了两种 1500 万参数的非生成式决策模型架构，发现两者在长上下文检索任务上的准确率差异仅为统计噪声（26.8% vs 28.2%），但计算效率存在显著分化。在 T=8192 的长序列场景下，基于 Gated Segmented State Space 的线性循环模型推理延迟为 108.6 毫秒，比标准 Transformer 的 257.7 毫秒快 2.37 倍；训练阶段同样呈现巨大差距，线性模型完成 6 个微调轮次仅需约 30 分钟，而 Transformer 每轮需 40–45 分钟，整体耗时相差 6–7 倍。 该实验的核心证据在于验证了理论复杂度在实际硬件上的表现：Transformer 的 O(T²) 复杂度在长上下文中导致性能急剧下降，而线性模型的 O(T) 特性使其在 2k–8k 字符的检索任务中保持高效。值得注意的是，作者在早期版本 V2/V3 的短上下文任务中观察到线性模型在准确率上占优，但在当前 V4 版本的复杂长文本检索任务中，两种架构在小参数量级下均未能有效学习特征，表明 15M 参数规模本身是精度瓶颈而非架构选择问题。 事实层面确认了小参数决策模型受限于容量，无论采用何种注意力机制都难以突破特定任务的准确率上限。推断层面显示，对于需要处理长上下文且对延迟敏感的应用场景，线性状态空间架构在单位经济上具有明显优势，尤其是在批量训练和推理成本优化方面。猜测层面认为，随着模型规模扩大或任务复杂度提升，这种架构差异带来的效率红利可能会进一步放大，但具体何时能转化为可感知的精度提升仍需更多实验数据支持。