Jev决策语言模型在临床AI评估中表现媲美前沿LLM且成本更低

该研究提出使用决策语言模型 Jev 作为临床生成式 AI 输出的自动化评测工具，以解决大型语言模型（LLM）评测器在规模化应用时成本高、速度慢的问题。实验显示，Jev 在儿科回答质量评估中与医生评分的一致性（Gwet's AC2 0.50）达到或超过了包括 Claude Opus 5.5 和 GPT-6 在内的七种前沿及开源 LLM 评测器。在 HealthBench 的二元标准测试中，Jev 的表现也优于或持平于多数对比模型。 关键证据在于效率差异：前沿评测模型的成本是 Jev 的 73 至 294 倍，耗时则是其 7 至 57 倍。此外，在 MedHELM 开放任务中，Jev 与三位 LLM 陪审团的一致性接近或超过陪审团内部的一致性；在 HealthBench Professional 上，Jev 与参考评测器 GPT-5.4 在 91% 的标准上一致。这些结果表明，特定领域的决策模型可以在保持高准确性的同时显著降低资源消耗。 事实层面，Jev 确实在多项基准测试中达到了前沿模型的水平，且成本优势巨大。推断层面，这暗示未来临床 AI 的规模化验证可能不再单纯依赖参数最大的通用模型，而是转向更轻量、专用的决策架构。猜测层面，这种模式是否适用于非医疗领域的高精度评测仍需观察，但当前数据已为低成本自动化对齐提供了有力支撑。