FDE-Bench 评测显示 Agent 在真实模糊业务需求下的交付成功率仅为 6.12%

该论文发布 FDE-Bench，这是首个基于真实客户项目构建的基准，旨在评估智能体在处理未明确定义的业务请求时进行交互式需求澄清和迭代优化的端到端交付能力。测试包含 49 个涵盖组合优化和机器学习的案例，其澄清目标源自一线工程师与客户的实际讨论记录。

在 18 种智能体配置中，最高平均交付得分仅为 0.5510（以一线工程师解决方案为满分参考），而交付成功率（DSR）——即达到参考质量的计划运行比例——低至 6.12%。这一结果直接表明，针对未明确定义的复杂真实业务任务，可靠的类一线工程师（FDE）级端到端交付目前仍无法实现。

事实层面，该基准通过模拟客户对话获取缺失需求，并使用特定于案例的评价器对照人工接受的解决方案来评估最终产物。推断层面，现有主流模型在缺乏显式指令的模糊场景下，难以自主完成从需求挖掘到方案落地的完整闭环。猜测层面，若未来要提升此类任务的交付率，可能需要引入更复杂的长程规划机制或专门针对“需求澄清”环节的微调策略，而非单纯依赖通用推理能力的堆叠。