SpireBench 评估显示 AI 模型难超越专家水平

SpireBench 是一个基于《杀戮尖塔》（Slay the Spire）的长周期战略博弈基准测试，旨在评估大语言模型在复杂、长视野任务中的推理与决策能力。该研究在 20 个大型语言模型上进行了最高难度测试，发现前沿模型虽然能击败启发式基线并达到普通人类玩家水平，但距离专家水平仍有显著差距，且随着游戏进程延长，这种差距会进一步扩大。 核心证据显示，强模型与弱模型的关键区别在于单场战斗的处理质量，所有模型普遍存在风险误判：它们倾向于保留生命值而非消耗它以换取更强的成长机会。此外，尽管研究团队对游戏术语进行了全面且自洽的重命名以消除先验知识干扰，模型表现仍部分依赖于对游戏的既有记忆，且跨局次的自我记忆往往包含错误且过于保守的信息，未能带来性能提升。 事实层面，该基准首次提供了完整原版游戏环境供模型运行，填补了现有短周期、片段化评测的空白。推断层面，这表明当前智能体在长周期规划中尚未掌握真正的动态风险评估机制，其失败更多源于策略保守而非计算能力不足。猜测层面，若无法解决记忆污染和过度保守问题，类似基准下的模型在真实商业长周期场景中的落地效果可能低于预期。