GenXR-Bench 基准测试显示最强编码智能体在 XR 开发中整体通过率仅为 50.9%

该论文发布了首个针对交互式扩展现实（XR）软件开发的端到端编码智能体评估基准 GenXR-Bench，并在 10 个模型上测试发现，表现最强的配置在 Pass@1 指标下仅达到 50.9% 的整体通过率。这一结果揭示了当前 AI 智能体在处理需要结合动态物理环境、连续用户运动和空间感知的 XR 应用时，仍存在显著的能力断层。

基准包含 112 个专家编写的任务，涵盖 24 项功能实现、21 项错误修复和 67 项应用生成，并通过脚本与自适应交互及程序化断言进行验证，其测试套件对 124 个候选应用的盲测专家判断准确率达 96.5%。失败分析指出，智能体反复误解异步传感器生命周期、物理 grounding 以及具身交互语义，这些是传统软件工程评估中较少触及的深层问题。

事实层面，该基准已建立并公开代码，提供了可复现的空间计算测试环境；推断层面，这表明将通用编码智能体直接应用于 XR 领域尚不成熟，需专门解决时空感知与物理约束的对齐问题；猜测层面，未来若无法突破上述语义理解瓶颈，XR 开发中的自动化程度可能长期停留在辅助而非主导阶段。