StateBench 评测显示 Transformer 无法学习最复杂的状态追踪任务而 Gated DeltaNet 可以

AllenAI 发布 StateBench 基准，用于评估语言模型在长文档中追踪实体状态变化的能力。该基准包含四个难度层级，从简单的不可变赋值到复杂的引用赋值（S5 问题）。测试结果显示，包括 Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol/Luna 在内的前沿模型在简单任务上表现良好，但在可解和一般有限问题上，随着输入长度增加，准确率急剧下降至 13% 以下。

针对架构能力的深入实验发现，预训练的 Transformer 模型（如 Olmo 3）在处理一般有限问题时表现接近随机猜测，即使经过针对性直接训练也无法掌握该层级。相比之下，引入门控 DeltaNet 的混合架构模型在直接训练后表现出更强的泛化能力，能够在长达 64,000 个变量赋值的序列中保持近乎完美的准确率，甚至在未见过长度的测试集上也能有效工作。

这一结果证实了理论预测：Transformer 架构在处理具有长依赖链的状态追踪任务时存在根本性限制，而具备灵活记忆更新机制的混合架构则能突破这一瓶颈。StateBench 为区分不同架构在处理不同类型状态追踪问题时的能力提供了细粒度工具，有助于指导未来系统的开发与训练方向。