LLM Agent 回复可用性研究揭示高失效率

该研究指出当前 LLM Agent 评估体系过度关注任务完成度和报告忠实度，却忽略了请求者能否真正理解和使用回复这一关键属性，作者将其定义为“回复可用性”（reply usability）。通过构建模拟请求者视角的读者模型进行测量，研究发现跨七个家族八种模型的 480 个回复中，有 54% 存在不可用问题，即便是表现最好的模型仍有 30% 的失败率。 导致回复不可用的主要机制是引用了请求者未曾见过的材料，或使用了代理在任务过程中自行创造的标签。实验显示，通过在提示词中明确指定回复要求，可将失败率从 0.52 降至 0.43；若增加一个辅助模型对回复进行重写，失败率进一步降至 0.36，且盲测确认了这一改进效果。 事实层面，该研究量化了 Agent 输出中普遍存在的认知断层，证明单纯的任务成功并不等同于有效交付。推断层面，这意味着现有的 Agent 工作流需要引入额外的验证层或生成约束，否则大量自动化产出将无法被下游人工处理。猜测层面，未来针对 Agent 的评测基准可能会将此类“可读性”指标纳入核心评分项，以区分真正的智能体能力与单纯的指令遵循能力。