PAYWORTHY 论文显示 Agent 描述方式决定 LLM 对其接单成功率的预测准确度

arXiv 2611.05759 提出 PAYWORTHY 数据集与评测框架，测试 18 个前沿大语言模型能否在 AI Agent 执行前预测其完成付费自由职业工作的成功率。该研究基于 1,494 个真实工作帖子的样本，让 Agent 仅凭帖子信息单次尝试完成任务，并由 LLM 扮演客户决定是否接受。核心发现是预测准确度高度依赖对 Agent 能力的描述方式：当明确告知模型 Agent 无法做什么时，所有模型的预测排名 AUC 达到 0.66–0.86；而当描述为拥有浏览器和代码执行能力的通用 Agent 时，AUC 降至 0.45–0.56，接近随机排序水平。

这一结果在不同模型家族（Claude、GLM、Kimi、Qwen）的评判者以及两名人类评分员的裁决中均保持一致。事实层面，研究证明了当前 LLM 作为“客户”进行事前筛选的能力存在显著的情境依赖性，即缺乏具体约束信息的通用描述会导致预测失效。推断层面，这意味着现有的 Agent 市场或平台若采用通用提示词进行自动化匹配或风控，可能面临极高的误判风险，必须引入更细粒度的能力声明机制。猜测层面，未来 Agent 生态可能需要标准化的能力清单（Capability Manifesto）来替代模糊的功能描述，以支撑可靠的商业交易预测。

该研究区分了事实与推断：事实是特定描述下 AUC 数值的巨大差异；推断是通用描述导致的市场匹配效率低下；猜测是标准化能力清单将成为基础设施。对于从业者而言，这提示在构建 Agent 服务或评估工具时，不能假设模型具备通用的理解力，必须显式定义边界条件才能产生可信赖的商业决策支持。