EmbGA 通过嵌入空间遗传算法恢复文生图模型中被提示词隐藏的视觉概念

这篇来自 arXiv cs.CR 的论文提出了一种名为 EmbGA 的新方法，用于从文本到图像生成模型中恢复那些存在于生成图像中但被原始提示词遗漏的隐藏视觉概念。该方法旨在解决现有提示词优化器在审计此类行为时的不足，特别是针对近期研究中显示的普通提示词可能触发植入关联的问题。

与依赖评分编码器反向访问的基于梯度的方法、将语义无关令牌视为同等接近的离散进化搜索以及每次候选评估需一次推理调用的语言模型引导搜索不同，EmbGA 在令牌嵌入空间中应用遗传算子。其交叉操作对父代嵌入进行插值，变异操作将嵌入移向随机抽取的词汇嵌入，随后将每个后代投影回离散令牌以确保评估的是有效令牌序列。在两个基准测试和六种优化器的对比中，当探索预算较大时，EmbGA 实现了最高的对齐度，在自然图像上恢复了最多的接地令牌，且运行速度远快于语言模型引导的搜索。

事实层面，该研究验证了文生图模型存在提示词未提及却生成特定视觉概念的能力，并证实了这种关联可被植入。推断层面，EmbGA 作为审计工具的出现意味着行业对生成内容安全性的检测手段正在从黑盒尝试转向更精细的嵌入空间分析。猜测层面，若此类隐藏概念植入技术被滥用，现有的基于提示词的内容过滤机制可能失效，需要结合如 EmbGA 这类深层特征恢复技术进行防御，但这取决于未来实际部署中的对抗演化情况。