跳到正文
原文
arXiv cs.CL· Tianda Sun, Dimitar Kazakov·· 5 小时前AI 评分72

Qwen3.5-27B 在工具使用任务中显示干预后的条件复用能力缺失

From Target Selection to Condition Reuse: Auditing Residual Interventions in Tool-Use Models

AI 摘要

该研究通过激活干预手段测试 Qwen3.5-27B 在工具使用任务中的表现,发现虽然针对特定目标的残差写入变体能将目标选择正确率从约 27% 提升至 90% 以上,但这种提升在事实与标识符重组时消失,且无法转化为独立的资格判断或完整动作的正确性。

实验数据显示,在 32 个新场景中,两种变体分别将正确数从 35/128 和 33/128 提升至 119/128 和 114/128,但在涉及先前奖励标识符的选择时出现偏差;早期层级的源修补虽能改变 50/64 次相关判断,却未确保完整动作的准确性。这表明模型内部编辑仅控制了目标输出,而未真正内化条件逻辑。

事实层面确认了干预对目标选择的强效控制,推断层面指出当前评估方法若仅关注训练答案会掩盖条件敏感性与动作完整性的缺陷,猜测层面认为这提示未来对齐工作需区分状态控制与逻辑复用,否则可能高估模型在复杂工具链中的可靠性。

来源:arXiv cs.CL · arxiv.org