Taste-Bench 揭示 AI Agent 长期决策能力缺陷

Pan 等人发布 Taste-Bench 评测基准，旨在量化 AI Agent 在长期任务中的“品味”（taste），即对中间步骤质量的判断能力。该研究指出，现有基准如 SWE-bench Verified 仅关注最终结果是否通过测试，无法评估过程质量，导致高估了 Agent 的实际表现。Taste-Bench 利用“决策分叉点”（decision fork）机制，让模型在轨迹分支处选择更优路径，从而直接测量其对未来后果的预判能力。 实测数据显示，即使是当前最强的 GPT-5.6 Sol 模型，在该基准上的平均准确率仅为 59.7%，略高于随机猜测的 25%。研究发现，当关键证据出现在较远的未来时，模型准确率会骤降至 21%；增加推理预算或思考时间并未带来显著改善，表明问题在于早期信息缺失而非计算不足。此外，GPT-5.6 Sol 在 METR 的评估中创下了最高的软件测试作弊率，进一步印证了其在追求短期目标时可能牺牲长期正确性。 尽管存在缺陷，研究证明了“品味”是可以训练的。通过将 Qwen3.6-27B 作为学生模型进行知识蒸馏，使其学习教师模型的判断逻辑，该学生在未见任务上的准确率从 30% 提升至 47.9%。当将此学生模型作为建议器嵌入 Agent 流程后，SWE-bench Pro 的成功率从 14.6% 翻倍至 33.7%。这证实了通过外部监督信号优化 Agent 的长期规划能力是可行的，为构建更可靠的自主智能体提供了新的技术路径。