PAYWORTHY研究：LLM预测AI代理接单能力受描述方式影响

arXiv 2611.05759 提出 PAYWORTHY 数据集与评测框架，测试 18 个前沿大语言模型能否在 AI Agent 执行前预测其完成付费自由职业工作的成功率。该研究基于 1,494 个真实工作帖子的样本，让 Agent 仅凭帖子信息单次尝试完成任务，并由 LLM 扮演客户决定是否接受。核心发现是预测准确度高度依赖对 Agent 能力的描述方式：当明确告知模型 Agent 无法做什么时，所有模型的预测排名 AUC 达到 0.66–0.86；而当描述为拥有浏览器和代码执行能力的通用 Agent 时，AUC 降至 0.45–0.56，接近随机排序水平。 这一结果在不同模型家族（Claude、GLM、Kimi、Qwen）的评判者以及两名人类评分员的裁决中均保持一致。事实层面，研究证明了当前 LLM 作为“客户”进行事前筛选的能力存在显著的情境依赖性，即缺乏具体约束信息的通用描述会导致预测失效。推断层面，这意味着现有的 Agent 市场或平台若采用通用提示词进行自动化匹配或风控，可能面临极高的误判风险，必须引入更细粒度的能力声明机制。猜测层面，未来 Agent 生态可能需要标准化的能力清单（Capability Manifesto）来替代模糊的功能描述，以支撑可靠的商业交易预测。 该研究区分了事实与推断：事实是特定描述下 AUC 数值的巨大差异；推断是通用描述导致的市场匹配效率低下；猜测是标准化能力清单将成为基础设施。对于从业者而言，这提示在构建 Agent 服务或评估工具时，不能假设模型具备通用的理解力，必须显式定义边界条件才能产生可信赖的商业决策支持。