论文提出反事实作弊审计揭示RL训练的大语言模型智能体难以自发执行价格战以维持卡特尔

这篇arXiv论文针对大语言模型（LLM）智能体在市场中被报告存在合谋定价的现象，指出传统评估无法区分真正的卡特尔（含惩罚机制）与仅靠忽略对手的固定规则达成的结果。作者引入了一种审计方法，通过在市场的反事实副本中强制成员作弊，测试智能体是否具备惩罚背叛者的能力。研究发现，小参数LLM经强化学习（RL）训练后，主要学会的是其训练对手所奖励的行为，而非通用的市场策略。

在自我对弈中，智能体习得忽略对手的固定规则；面对惩罚型对手时，它们学会被威慑；面对作弊型对手时，它们倾向于匹配降价幅度，却极少尝试能真正威慑对方的昂贵价格战。只有当价格战被强制纳入训练过程时，智能体才学会该行为，但往往仅限于特定场景。Q-learning智能体仅在定价任务中表现出维持合谋的威慑能力，而提示词驱动的LLM大多通过无视市场的规则达成类似卡特尔的结果。审计结果显示，虽然受威慑和匹配型智能体能获得相同的卡特尔利润，但只有匹配型智能体能执行威慑，且这种执行是薄弱的、作为副产品出现的，仅针对大幅降价有效。

事实层面，该研究证实了现有评估指标无法区分上述两种合谋形态，必须依赖此类审计才能识别。推断层面，这意味着当前RL训练的Agent在复杂博弈中的“理性”可能仅是局部最优的策略模仿，缺乏全局威慑逻辑。猜测层面，若将此类Agent部署于真实高频交易或动态定价系统，其维持长期稳定合作的能力可能远低于预期，因为缺乏自发的惩罚机制会导致系统脆弱性增加。