SmartSalesBench发布首个高阻力买家销售Agent评测基准

该论文发布了 SmartSalesBench，这是首个明确设计用于评估大语言模型销售智能体在心理驱动的高阻力买家人设下表现的多轮对话基准。与现有假设用户配合的任务导向型对话基准不同，该基准将智能体置于包含最多二十轮对话的对抗环境中，测试其应对挑战的能力。研究构建了五个智能体画像、十二个买家人设、六个价格层级的十五款智能手机产品，并进行了四次受控实验，累计生成 13,680 个会话。所有智能体和买家人设的生成均基于检索增强生成（RAG）技术进行 grounding。 评估体系包含九个指标，分为三个层级：一级核心结果指标包括转化率（CR）、买方保留率（BRS）和拒绝后回复率（RIR）；二级质量指标涵盖销售满意度（SMS）、价格最终接受度（PFS）和情绪互动指数（ETI）；三级为计划未来报告的探索性指标。评估方法结合了自动化 LLM-as-judge 评分与内部人工评估，其中 50 名人类评估者的信度系数 kappa 为 0.71，且与 BRS 指标的皮尔逊相关系数达到 0.81。 事实层面，该基准通过引入“阻力”变量重构了销售场景的评估逻辑，填补了现有基准仅关注任务完成而忽略心理博弈的空白。推断层面，这意味着当前许多宣称具备销售能力的 LLM 可能在真实高压谈判场景中表现远低于预期，因为传统基准无法捕捉对抗性交互中的失败模式。猜测层面，若行业广泛采纳此基准，可能会推动销售类 Agent 从单纯的信息检索转向更复杂的心理策略学习，但具体实施成本和对模型架构的影响仍需后续工程实践验证。