跳到正文
原文
Latent Space· Richard MacManus·· 3 小时前AI 评分60

Elorian 发布 Glimpse 并推出 DecoyCount 基准,测试模型能否识别视觉诱饵

Can Frontier Models See Past a Decoy? Elorian Tests Visual Reasoning

AI 摘要

Elorian 本月发布首款视觉推理模型 Glimpse,并联合 Mercor 推出 DecoyCount 基准,旨在测试语言模型是真正计数还是依赖视觉捷径。该基准在 1,660 个样本上的测试显示,包括 GPT-6 Astra、Gemini-3.8-flash、Qwen3.8-max 和 Claude-Fable-5.1 在内的前沿模型准确率均低于 50%,其中 GPT-6 Astra 最高为 43.17%。

根据 CEO Andrew Dai 提供的数据,Glimpse 在内部测试中得分为 50.48%,是唯一超过 50% 阈值的模型。Dai 指出这一结果来自单次运行且未使用 Agent 或工具辅助,而对比的前沿模型数据则是三次运行的平均值。尽管存在评估条件差异,但核心发现表明“更强的通用推理能力并不自动转化为对齐的视觉推理”,即模型容易将镜像反射误判为独立物体。

Elorian 的差异化在于其架构将图像生成与编辑作为推理链条的一部分,而非仅作为输出。这种机制使其能区分视觉感知错误(如漏看)与逻辑判断错误(如重复计数)。公司已完成 5500 万美元种子轮融资,并计划将技术应用于机器人、工程合规及国防领域,认为视觉推理是通往物理世界 AGI 的基础步骤。

来源:Latent Space · latent.space