CLR-Bench评估显示自进化Agent难归纳隐藏规则

arXiv 发布的 CLR-Bench 基准测试评估了六个近期自进化方法在“隐藏规则课程”中的表现，发现大多数模型无法仅凭反馈学习从未被明确告知的规则。该基准通过每层增加一个基于网络公开命名分组（如航空联盟创始成员）的隐藏规则来构建挑战，要求智能体在不透明标签下识别新成员。实验结果显示，配合验证模型时，这些方法的性能提升微乎其微，最佳增益仅比冻结智能体高出 5 分，且排除未见过成员的比例仅为 6-12%，甚至低于直接保留原始练习历史所能达到的 20%。 深入分析表明，智能体的状态更新机制存在明显缺陷：它们仅在 75-98% 的情况下记住了被揭示的具体成员，却几乎从不记录类别名称本身；当练习环节暴露出列表遗漏的成员时，它们倾向于将该成员直接追加到列表中，而非理解其所属的分类逻辑。相比之下，引入固定课程说明命名分组惯例后，同一组方法的准确率提升了 14.5 至 16.5 分。只有在更强的 GPT-6-Sol 模型上，ACE 和 Dynamic Cheatsheet 等方法才展现出仅凭反馈学习的潜力，准确率达到 78%，解决了 59-60% 的单单元格任务，显著优于使用验证模型时的 53% 和 8%。 事实层面，该研究证实了当前主流自进化智能体在处理未见过的抽象分类规则时，主要依赖记忆而非真正的归纳推理。推断层面，这意味着在缺乏显式指令或结构化背景知识的情况下，单纯依靠反馈循环进行自我迭代的 Agent 系统可能无法有效扩展其能力边界，尤其是在涉及复杂实体关系或隐性社会常识的场景中。猜测层面，若未来希望实现真正的规则泛化，可能需要结合外部知识库检索或强制性的概念提取机制，而不仅仅是优化状态更新的权重参数。