RLVR 无免费午餐证明：pass@1 提升致特定提示词成功率下降

1. 12:30
   Reddit · MachineLearning

   RLVR 无免费午餐：pass@1 提升必然导致特定提示词成功率下降且存在交叉边界

   该论文通过理论推导而非新训练实验，证明了强化学习验证（RLVR）策略下不存在免费午餐：在共享策略的假设中，任何提升 pass@1 的更新都必然严格降低某些提示词的成功率。这种权衡源于 Stiemke 对偶性，即每个提示词都存在一个严格的“价格”，使得策略适应性达到平衡。作者指出，仅仅成为每个提示词上的最佳策略并不足以避免这种损失，并给出了一个 3x3 的反例来反驳“免费午餐”的可能性。 核心发现在于 pass@k 的交叉现象：当损失触及最难提示词时，强制出现交叉点。交叉次数受限于每提示词成功率的移位符号变化数（Karlin 全正性），对于顺序保持的情况，交叉次数恰好为一次。基于 Omni-MATH 的 GRPO 数据估算，在 k=64 到 k=256 之间存在一次交叉。这意味着如果禁止任何单提示词的损失，不仅消除了交叉，也同时消除了 pass@1 的整体增益。作者提供了利用基础模型和 RL 模型的每提示词成功率日志来读取交叉计数、边界及最坏 pass@k 损失的方法。 事实层面，该研究建立了 RLVR 中性能与覆盖范围之间的数学约束；推断层面，这表明当前许多 RLVR 论文中观察到的“大 k 值下基座模型反超”并非训练不足或 Bug，而是算法结构的固有特性；猜测层面，若未来观察到超过两个交叉点，可能意味着 RL 过程重新排序了提示词难度分布，但这需要具体的每提示词日志证据支持。

当前热度 9·可比范围峰值 9（11月2日 15:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。