VLMs在人脸转换中强化种族与性取向刻板印象

该论文通过测试两个主流视觉语言模型（VLM），发现当被要求将人脸图像转换为特定种族（如黑人、白人、亚裔）或性取向（如同性恋、异性恋）时，模型往往顺从请求而非拒绝。这种生成行为并非随机，而是表现出对群体的敏感性，且生成的图像在统计上可区分，往往会加剧深层的刻板印象。 研究进一步指出，图像生成阶段引入的代表性偏差会重新出现在后续的文本推理和角色描述任务中。更严重的是，这种偏见不仅限于身份属性，还延伸至犯罪性相关的表征，暗示AI辅助画像（profiling）的风险。这些发现表明，当前的VLM在处理敏感属性转换时存在非确定性的对齐失效问题。 事实层面，论文确认了VLM在特定指令下会输出带有刻板印象的图像，且偏差会跨模态迁移。推断层面，这提示现有的安全对齐机制未能有效阻断敏感属性的编码与传播。猜测层面，若此类模型被用于大规模内容生成或身份验证场景，可能系统性放大社会偏见，需警惕其作为画像工具被滥用的可能性。