Seq@K 提出在连续反馈下评估语言模型能否在 K 次尝试内解决问题的新基准

该论文提出 Seq@K 评估协议，用于衡量语言模型在每次失败后获得自然语言反馈的情况下，能否在 K 次连续尝试内解决问题。现有社区主要依赖 Pass@1 或 Pass@K 等指标排名模型，这些指标无法捕捉模型如何利用先前尝试的反馈进行迭代优化，而 Seq@K 专门隔离并形式化了这种从反馈中精炼答案的核心能力。

作者在 7 个基准测试和 16 个前沿模型上进行了评估，发现 Seq@K 揭示了与 Pass@K materially 不同的模型选择格局：模型排名经常发生变化，帕累托前沿允许更高效的配置，且选择最优模型配置的收益相对于 Pass@K 可能扩大或缩小。此外，分析 Seq@K 下的模型轨迹有助于表征迭代精炼行为，例如模型解决反馈中提出问题的速率，或其坚持自己答案的僵化程度。

研究进一步表明反馈的性质会影响模型的迭代精炼过程，从业者必须精心设计并基准测试迭代智能系统的反馈循环。事实层面确认了 Seq@K 能提供更忠实的指标；推断层面指出当前基于 Pass@K 的模型选型可能存在偏差；猜测层面认为未来智能系统评估将不得不纳入此类反馈循环机制，但具体实施细节需结合更多实证数据验证。