kw-bench 实测显示非前沿模型在多系统 VAT 重建任务中因惯性失效而得分为零

该论文引入 kw-bench 基准，通过真实审计场景中的五年增值税（VAT）重建任务，测试了不同 AI 智能体框架在跨代 SAP 系统（ECC、S/4HANA 迁移版及咨询重设计）原始数据提取下的表现。实验使用 DeepSeek v4.1 Flash 模型，要求从包含页眉、本地数字格式和部分链接表的无文档数据中恢复并验证数值。结果显示，两个独立且与模型无关的框架 OpenCode 和 micro-cc 得分分别为 0.542 和 0.528，而两个实验室专用框架（Claude Code 和 Codex）在该模型上得分为 0.00。

失败的核心原因被归结为“惯性”：在非前沿模型上，随着会话延长，维持多个微弱信号的能力迅速衰减，导致任务崩溃。相比之下，当同一任务在 Claude Opus 5.5 上运行时，micro-cc 和 Claude Code 分别在 22 分钟和 25 分钟内达到 0.9986 和 1.000 的分数，将原本需数周完成的工作压缩至几分钟。这表明当前 Agent 框架的效能高度依赖底层模型的推理持久性，而非框架本身的逻辑编排能力。

事实层面，kw-bench 采用确定性评分，未使用 LLM 裁判；推断层面，现有开源或中等规模模型难以独立承担复杂的多系统调查工作，必须依赖前沿模型作为推理引擎；猜测层面，若未来出现针对长程信号维持的优化算法，可能部分缓解非前沿模型的失效问题，但短期内单位经济模型将迫使企业将此类高价值任务集中部署于顶级模型。