HausaSafeLM 研究指出低资源语言中拒绝率指标无法真实反映大模型安全对齐质量

该论文针对 Hausa 语（西非超 2 亿使用者）开展大模型安全对齐研究，构建包含 10,000 个提示词的 HausaSafeLM 数据集，其中 3,000 条为人工修正的“金标准”数据，7,000 条为机器翻译的“银标准”数据，涵盖六大危害类别。使用 Qwen2.5-7B-Instruct 进行实验，对比监督微调（SFT）与 SFT 后接直接偏好优化（DPO）的效果，发现未微调的基础模型在拒绝率指标上看似安全，实则因 Hausa 生成能力有限导致拒绝质量低下，并非真正对齐。

证据细节显示，SFT 显著提升了拒绝的流畅度和精确度，且从更大规模但含噪的银标准数据中获益明显；而 DPO 虽然进一步提高了拒绝的精确性，却以牺牲语言质量为代价，这种损失在不同数据配置下均存在且幅度较大。研究并未找到能同时最大化安全性、帮助性和流畅度的单一配置方案。

事实层面，当前对齐技术主要教会模型何时拒绝，而非如何在低资源语言中流利地拒绝。推断层面，仅依赖拒绝率作为安全指标在低资源语境下不可靠，可能掩盖模型实际的语言能力缺陷。猜测层面，若行业继续忽视此类文化特定场景的评估机制，可能导致面向非洲市场的 AI 产品在实际部署中出现隐性安全风险或用户体验崩塌，需重新设计包含语言质量维度的综合评估基准。