Qwen2.5在豪萨语安全对齐中的表现与局限
先了解这件事
2026年10月28日,arXiv发布HausaSafeLM研究论文。该研究针对豪萨语构建包含10,000个提示词的数据集,其中3,000条为人工修正的“金标准”,7,000条为机器翻译的“银标准”。研究使用Qwen2.5-7B-Instruct模型进行实验,对比监督微调(SFT)与SFT后接直接偏好优化(DPO)的效果。研究发现未微调的基础模型在拒绝率指标上看似安全,实则因豪萨语资源匮乏导致评估失真,无法真实反映大模型的安全对齐质量。
AI 根据报道生成 · 4 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- arXiv cs.CLHausaSafeLM 研究指出低资源语言中拒绝率指标无法真实反映大模型安全对齐质量
该论文针对 Hausa 语(西非超 2 亿使用者)开展大模型安全对齐研究,构建包含 10,000 个提示词的 HausaSafeLM 数据集,其中 3,000 条为人工修正的“金标准”数据,7,000 条为机器翻译的“银标准”数据,涵盖六大危害类别。使用 Qwen2.5-7B-Instruct 进行实验,对比监督微调(SFT)与 SFT 后接直接偏好优化(DPO)的效果,发现未微调的基础模型在拒绝率指标上看似安全,实则因 Hausa 生成能力有限导致拒绝质量低下,并非真正对齐。 证据细节显示,SFT 显著提升了拒绝的流畅度和精确度,且从更大规模但含噪的银标准数据中获益明显;而 DPO 虽然进一步提高了拒绝的精确性,却以牺牲语言质量为代价,这种损失在不同数据配置下均存在且幅度较大。研究并未找到能同时最大化安全性、帮助性和流畅度的单一配置方案。 事实层面,当前对齐技术主要教会模型何时拒绝,而非如何在低资源语言中流利地拒绝。推断层面,仅依赖拒绝率作为安全指标在低资源语境下不可靠,可能掩盖模型实际的语言能力缺陷。猜测层面,若行业继续忽视此类文化特定场景的评估机制,可能导致面向非洲市场的 AI 产品在实际部署中出现隐性安全风险或用户体验崩塌,需重新设计包含语言质量维度的综合评估基准。
本事件热度走势
当前热度 9·可比范围峰值 9(10月28日 14:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。