Artemis Security 发布 Orion-1 并在自建基准上击败 GPT-6 Sol 和 Claude Opus 5.5

美国初创公司 Artemis Security 发布了专为网络安全设计的 Orion-1 模型，声称其能独立调查和响应企业网络攻击，并在公司自建的 Decision-Grade Readiness (DGR) 基准测试中击败了 GPT-6 Sol 和 Claude Opus 5.5。该模型通过微调处理来自认证服务、云设置和企业终端的日志数据，旨在解决通用大模型在处理海量安全事件时容易迷失或被厂商安全护栏（guardrails）阻断的问题。

然而，Artemis 的 DGR 基准测试存在明显的局限性，导致结果的可信度存疑。首先，该基准仅包含五个任务，且 Orion-1 是唯一一个在所有任务中都达到或超过 80 分阈值的模型，而 GPT-6 Sol 在最具挑战性的“攻击重建”（Attack reconstruction）环节得分仅为 58.3，远低于 Orion-1 的 80.8 分。其次，文章明确指出，OpenAI 和 Anthropic 的最强安全模型（GPT-6 Astra 和 Claude Mythos 5）并未参与此次对比，这意味着 Orion-1 实际上是在与经过降级处理的旧版本模型（如 Opus 4.8）进行竞争，而非真正的行业前沿水平。

从商业角度看，Artemis 成立于去年 10 月，今年 4 月才结束保密状态并披露了 7000 万美元的种子轮和 A 轮融资，目前 Orion-1 仍处于仅限部分客户的私人预览阶段。这种封闭的测试环境和缺乏第三方验证的基准，使得 Orion-1 的实际能力仍是一个未知数。对于安全团队而言，虽然通用模型确实面临被厂商限制访问的风险，但依赖一家刚成立不久的初创公司的私有模型来替代成熟的开源方案或受控的 API 服务，仍需进一步观察其长期表现和透明度。