kw-bench基准测试显示非前沿模型在VAT重建任务中得分低
先了解这件事
2026年10月28日，arXiv发布论文介绍kw-bench基准测试。该测试基于真实审计场景中的五年增值税（VAT）重建任务，旨在评估不同AI智能体框架在跨代SAP系统原始数据提取下的表现。实验使用DeepSeek v4.1 Flash模型，要求从包含页眉、本地数字格式和部分链接表的无文档数据中恢复并验证数值。结果显示，两个独立且与模型无关的框架OpenCode和micro-cc得分分别为0.542和0.5。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv cs.AI精选kw-bench 实测显示非前沿模型在多系统 VAT 重建任务中因惯性失效而得分为零
该论文引入 kw-bench 基准，通过真实审计场景中的五年增值税（VAT）重建任务，测试了不同 AI 智能体框架在跨代 SAP 系统（ECC、S/4HANA 迁移版及咨询重设计）原始数据提取下的表现。实验使用 DeepSeek v4.1 Flash 模型，要求从包含页眉、本地数字格式和部分链接表的无文档数据中恢复并验证数值。结果显示，两个独立且与模型无关的框架 OpenCode 和 micro-cc 得分分别为 0.542 和 0.528，而两个实验室专用框架（Claude Code 和 Codex）在该模型上得分为 0.00。 失败的核心原因被归结为“惯性”：在非前沿模型上，随着会话延长，维持多个微弱信号的能力迅速衰减，导致任务崩溃。相比之下，当同一任务在 Claude Opus 5.5 上运行时，micro-cc 和 Claude Code 分别在 22 分钟和 25 分钟内达到 0.9986 和 1.000 的分数，将原本需数周完成的工作压缩至几分钟。这表明当前 Agent 框架的效能高度依赖底层模型的推理持久性，而非框架本身的逻辑编排能力。 事实层面，kw-bench 采用确定性评分，未使用 LLM 裁判；推断层面，现有开源或中等规模模型难以独立承担复杂的多系统调查工作，必须依赖前沿模型作为推理引擎；猜测层面，若未来出现针对长程信号维持的优化算法，可能部分缓解非前沿模型的失效问题，但短期内单位经济模型将迫使企业将此类高价值任务集中部署于顶级模型。
本事件热度走势
当前热度 9·可比范围峰值 9（10月28日 15:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。