Seq@K 评估协议提出，衡量模型在反馈下的迭代能力
先了解这件事
2026年10月31日，arXiv cs.AI 发布论文提出 Seq@K 评估协议。该基准旨在衡量语言模型在连续获得自然语言反馈后，能否在 K 次尝试内解决问题。现有社区主要依赖 Pass@1 或 Pass@K 等指标，无法捕捉模型利用先前反馈进行迭代优化的能力。作者在 7 个基准测试和 16 个前沿模型上进行了评估，发现 Seq@K 揭示了与 Pass@K materially 不同的结果，专门隔离并形式化了从反馈中精炼答案的核心能力。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv cs.AISeq@K 提出在连续反馈下评估语言模型能否在 K 次尝试内解决问题的新基准
该论文提出 Seq@K 评估协议，用于衡量语言模型在每次失败后获得自然语言反馈的情况下，能否在 K 次连续尝试内解决问题。现有社区主要依赖 Pass@1 或 Pass@K 等指标排名模型，这些指标无法捕捉模型如何利用先前尝试的反馈进行迭代优化，而 Seq@K 专门隔离并形式化了这种从反馈中精炼答案的核心能力。 作者在 7 个基准测试和 16 个前沿模型上进行了评估，发现 Seq@K 揭示了与 Pass@K materially 不同的模型选择格局：模型排名经常发生变化，帕累托前沿允许更高效的配置，且选择最优模型配置的收益相对于 Pass@K 可能扩大或缩小。此外，分析 Seq@K 下的模型轨迹有助于表征迭代精炼行为，例如模型解决反馈中提出问题的速率，或其坚持自己答案的僵化程度。 研究进一步表明反馈的性质会影响模型的迭代精炼过程，从业者必须精心设计并基准测试迭代智能系统的反馈循环。事实层面确认了 Seq@K 能提供更忠实的指标；推断层面指出当前基于 Pass@K 的模型选型可能存在偏差；猜测层面认为未来智能系统评估将不得不纳入此类反馈循环机制，但具体实施细节需结合更多实证数据验证。
本事件热度走势
当前热度 9·可比范围峰值 10（10月31日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。