微软与 Hugging Face 联合发布 ThinkingBox-Training：用数据库信号作为 Agent 后训练奖励

微软与 Hugging Face 联合发布了 ThinkingBox-Training 工具链，旨在解决 Agent 在涉及真实后端数据库的业务流程中“看似完成实则错误”的可靠性问题。该方案的核心创新在于将 ThinkingBox-Bench 中用于评估的数据库终端状态检查（executable checks），直接复用为强化学习（RL）训练阶段的奖励函数。通过这种方式，模型不再依赖模糊的自然语言反馈，而是基于确定的数据库变更结果获得 0 或 1 的二元奖励信号。

在技术实现上，团队针对 Qwen3.8-27B 模型进行了全参数 GRPO 微调，共运行 50 个步骤。训练前，他们利用离线策略相对难度（offline policy-relative difficulty）筛选出 187 个适合训练的样本，剔除那些模型完全无法解决或已经熟练掌握的任务，以确保梯度更新的有效性。实验结果显示，经过微调的模型在 Observed 20/20 指标（即同一任务连续 20 次尝试全部成功）上从 38 个提升至 107 个，增长了近三倍；平均成功率（pass@1）也从 51.70% 提升至 60.78%。值得注意的是，这种提升伴随着 pass@20（至少一次成功的覆盖率）的轻微下降，表明模型收敛到了更稳健但覆盖范围略窄的策略分布。

该工具链包含完整的数据准备、 rollout 生成、奖励计算及 Verl 集成代码，并已在 GitHub 开源。对于开发者而言，其价值不仅在于具体的 Qwen3.8-27B 模型权重，更在于提供了一套将确定性环境信号转化为 RL 奖励的工程闭环。事实层面，该方案确实显著提升了特定任务上的重复成功率；推断层面，这暗示了未来 Agent 训练可能更多转向基于状态验证而非文本生成的奖励机制；猜测层面，这种基于数据库状态的训练方法可能会成为企业级 Agent 落地前的标准校准步骤。