Qwen3.5工具使用模型残差干预审计研究
先了解这件事
该研究通过激活干预手段测试 Qwen3.5-27B 在工具使用任务中的表现，发现虽然针对特定目标的残差写入变体能将目标选择正确率从约 27% 提升至 90% 以上，但这种提升在事实与标识符重组时消失，且无法转化为独立的资格判断或完整动作的正确性。 实验数据显示，在 32 个新场景中，两种变体分别将正确数从 35/128 和 33/128 提升至 119/128 和 114/128，但在涉及先前奖励标识符的选择时出现偏差；早期层级的源修补虽能改变 50/64 次相关判断，却未确保完整动作的准确性。这表明模型内部编辑仅控制了目标输出，而未真正内化条件逻辑。 事实层面确认了干预对目标选择的强效控制，推断层面指出当前评估方法若仅关注训练答案会掩盖条件敏感性与动作完整性的缺陷，猜测层面认为这提示未来对齐工作需区分状态控制与逻辑复用，否则可能高估模型在复杂工具链中的可靠性。
摘自 arXiv cs.CL
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv cs.CLQwen3.5-27B 在工具使用任务中显示干预后的条件复用能力缺失
该研究通过激活干预手段测试 Qwen3.5-27B 在工具使用任务中的表现，发现虽然针对特定目标的残差写入变体能将目标选择正确率从约 27% 提升至 90% 以上，但这种提升在事实与标识符重组时消失，且无法转化为独立的资格判断或完整动作的正确性。 实验数据显示，在 32 个新场景中，两种变体分别将正确数从 35/128 和 33/128 提升至 119/128 和 114/128，但在涉及先前奖励标识符的选择时出现偏差；早期层级的源修补虽能改变 50/64 次相关判断，却未确保完整动作的准确性。这表明模型内部编辑仅控制了目标输出，而未真正内化条件逻辑。 事实层面确认了干预对目标选择的强效控制，推断层面指出当前评估方法若仅关注训练答案会掩盖条件敏感性与动作完整性的缺陷，猜测层面认为这提示未来对齐工作需区分状态控制与逻辑复用，否则可能高估模型在复杂工具链中的可靠性。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。