Mercor 发布基准地图显示 90% 美国工时未被 AI 基准覆盖
先了解这件事
2026年10月17日,Mercor 发布 Benchmark Map 研究,指出在涵盖美国劳动力 923 个职业和 18,797 项任务的 O*NET 分类中,仅有 208 个职业拥有至少 5 个基准提示词覆盖的任务。该结论基于对 29 个精选基准的分析,这些基准虽优先选择了公开可用、具代理能力(agentic)和经济现实性的任务,但无法反映真实经济场景中的广泛工作内容。分析发现基准覆盖存在显著盲区,导致约 90% 的美国工作时长处于现有 AI 基准的覆盖范围之外。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Hacker News · AIMercor 研究指出美国90%工作时长对应的任务未被现有AI基准有效覆盖
Mercor 发布的 Benchmark Map 研究显示,在涵盖美国劳动力 923 个职业和 18,797 项任务的 O*NET 分类中,仅有 208 个职业拥有至少 5 个基准提示词覆盖的任务,导致约 90% 的美国工作时长处于现有 AI 基准的盲区。该结论基于对 29 个精选基准的分析,这些基准虽优先选择了公开可用、具代理能力(agentic)和经济现实性的任务,但无法反映真实经济场景中的广泛工作内容。 分析发现基准覆盖存在显著的选择性偏差:高薪资职业的 AI 暴露任务被过度代表,例如律师的高价值任务被大量覆盖,而同等 AI 暴露程度的法律秘书或法庭书记员任务几乎空白;同时,软件工程和金融分析等热门领域占据主导,卡车驾驶等低薪体力劳动则完全缺失。即便引入 O*NET 权重对投资银行、法律、会计和软件工程四个领域的模型表现进行重加权,由于相关任务中仅不到三分之一有足够的数据支持,且部分基准已饱和或存在质量缺陷,这种修正对最终分数的影响有限。 事实层面确认了当前基准库在经济广度上的严重不足,推断表明单纯依赖现有排行榜会高估模型在大多数高薪知识工作中的实际可用性,并低估长尾任务的风险。猜测认为,随着物理世界任务(如机器人操作)和人类增强型工作流(augmentation)成为评估重点,现有的纯数字基准方法论将面临更大的失效风险,需要建立包含物理交互和混合人机协作的新评估体系。
本事件热度走势
当前热度 9·可比范围峰值 10(10月17日 02:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。