ALTK-Evolve 用 GPT-4.1 在 τ²-bench 客服基准上击败前沿模型

Hugging Face 发布的 ALTK-Evolve 框架利用 GPT-4.1 作为基座模型，通过在系统提示中动态注入从过往任务轨迹中提取的行为指南（learned guidelines），在 τ²-bench 零售领域实现了 67.5% 的 Pass^4 得分，超越了榜单上所有前沿模型及经过合成数据微调的 RAFT-30B-A3B 模型。

该机制的核心在于无需更新权重即可实现“记忆”：系统分析 agent 的训练尝试，由同一模型蒸馏出如身份验证、退款确认等具体操作规则，并作为 Markdown 列表追加至 Prompt。实验显示，这种策略显著提升了可靠性而非单纯的能力上限；在零售测试集中，保留所有指南的 lossless 配置使 Pass^4 较基线提升 10 个百分点，且并未增加对话轮数，反而因决策更精准而降低了端到端延迟。

事实层面，该方法在航空领域使用更强的 gpt-5.5 时同样有效，Pass^4 达到 82.0%，位居榜首。推断层面，这揭示了当前 Agent 开发中“提示工程”与“微调”的替代关系——对于特定垂直场景，基于自身数据的轻量级规则注入可能比昂贵的全量微调更具性价比和泛化性。猜测层面，随着 τ²-bench 等严格基准的普及，未来 Agent 的评估标准将从单纯的准确率转向对复杂约束下的稳定性（Pass^4）考核。