Recursive Reward Improvement via Adversarial Meta-Prompt Evolution 论文提出对抗性元提示进化解决开放域任务评分标准漏洞

该论文针对开放域专家任务（如临床报告生成）缺乏标准答案导致简单问答式自改进失效的问题，提出递归奖励提升（RRI）框架。该框架通过引入奖励黑客对手监督奖励生成过程，在求解器训练前让对手编写利用评分标准的无用答案与诚实答案，并通过最多两步修复使诚实答案胜出，从而修正未来任务和评分标准的生成逻辑。

实验显示，在 HealthBench Professional 数据集上，9B 和 27B 模型经 RRI 训练的调整后分数分别比仅生成基线高出 10.9 分和 12.4 分，且在不使用外部模型的情况下仍提升 10.3 分，难点和写作类任务增益最大。此外，27B 模型在未见过的 PRBench Hard 和 ProfBench 测试集上分别提升 6.6 分和 8.0 分，证明其泛化能力。

事实层面，RRI 确实解决了评分标准被利用导致的训练污染问题，并在特定医疗基准上取得显著数值提升。推断层面，这种对抗性自我修正机制可能成为未来开放域 Agent 自进化的核心范式，减少对人工标注或外部模型的依赖。猜测层面，该方法是否适用于非文本类的复杂决策任务仍需进一步验证，目前证据仅限于文本生成领域。