PRISM框架揭示工具调用中激活干预的迁移能力与局限

1. 12:00
   arXiv cs.CL

   PRISM 框架揭示激活干预在工具调用模型中的迁移能力与局限

   该论文提出 PRISM 框架，用于评估激活干预在精度、语言和规模上的迁移效果，核心发现是利用低资源设置（如 NF4 量化标签）和跨语言迁移能有效暴露并改进模型对齐。实验显示，基于 NF4 副本的行为标签即使在极少场景下也能实现稳定的干预估计，且这种对齐改进具有跨语言有效性：在五语言 NF4 监督方向上训练后，无需目标语言微调即可将 Llama-3.1-8B 在未见过的阿拉伯语上的不安全违规率降低 21.95 个百分点。 通过映射成对的良性激活，作者成功将这些安全干预迁移至参数量高达 70B 的更大模型。这一事实表明辅助监督信号可以从压缩模型中有效提取并放大到大规模模型中，为工具调用场景下的安全隐患提供了新的检测与缓解路径。文中还公开了所有实验代码、支持工件以及交互式探索器，供社区复现和验证。 推断认为，这种利用低资源模型作为“教师”来指导高资源模型对齐的策略，可能显著降低安全对齐的训练成本，尤其适用于多语言环境下的工具调用风险管控。猜测部分在于该方法在不同架构或特定高风险任务中的泛化边界，目前仅证实了在 Llama 系列和部分规模上的有效性，具体单位经济收益仍需结合算力投入进一步测算。

当前热度 9·可比范围峰值 10（10月16日 13:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。