Qwen2.5-3B微调后在合成环境中撤回能力存在缺陷

该研究通过NAQD-Env合成环境评估了Qwen2.5-3B-Instruct经过监督微调（SFT）后的工具使用智能体表现，发现虽然整体决策一致性提升至0.77-0.92，但在处理证据变更或授权撤销时的选择性撤回召回率仅为0.46-0.86，且存在严重的规则特异性失效。与基线模型相比，微调模型在保留受支持工作的同时暂停受影响动作的能力并未达到预期，甚至在某些情况下比未微调的7B和8B基线更差。 具体证据显示，原始课程训练的模型错误地撤回了34个动作中26个拥有幸存替代方案的动作，而丰富课程训练的模型虽将此类错误降至0-1个，但所有SFT检查点均未能像大参数基线那样有效缩小禁止组合的范围。此外，委托结果表现出更多的撤回行为却导致独立授权动作的保存质量下降，且所有四个检查点都遗漏了有效的报告事件。系统提示词框架的差异在不同指标和数据集上表现不一，未能建立可复现的优势或等价性。 事实层面，本研究仅证明了检测规则特异性回归的方法，而非证明微调本身能确保智能体安全；推断层面，当前SFT策略可能掩盖了模型在复杂依赖关系中的真实脆弱性，导致高准确率指标下的隐性风险；猜测层面，若缺乏针对特定规则失效的显式训练数据，单纯增加课程丰富度可能无法解决根本的因果归因问题，这要求开发者在部署Agent时不能仅依赖整体准确率指标，需引入细粒度的规则级诊断机制。