Black Forest Labs FLUX.3 Image Klein 在 Diffusers 中发布并引入布局控制

Black Forest Labs 发布 FLUX.3 Image Klein，该模型作为 Modular Diffusers 管道的一部分，原生支持文本到图像、多图参考图像到图像以及基于边界框的布局控制功能。Distilled checkpoint 版本可在 H100 上以 16 步完成 1024×1024 图像的生成，耗时约 1.93 秒；Base model 则需 50 步配合 CFG。NVFP4 和 FP8 量化权重已开放，适配不同显存环境。

架构层面，FLUX.3 采用 Qwen3-VL 作为文本编码器，提取其第 4 至 32 层隐藏状态构建特征向量。Transformer 分为两个阶段：第一阶段为独立模式块（per-mode blocks），各输入流（文本、噪声图像、参考图）分别通过 5 个独立权重的模块处理；第二阶段为联合块（joint blocks），所有流合并后共享一组 28 个块的权重。位置编码使用四维 RoPE（时间、高度、宽度、序列长度），确保参考图与输出图的空间坐标对齐，从而实现精确的对象移动与重定位。

工程实现上，Diffusers 提供 DreamBooth LoRA 脚本，支持文本到图像与图像编辑任务微调。内存占用方面，fp8r 在 H100 上峰值显存约为 16.27 GiB，nvfp4 在 RTX6000 上为 15.3 GiB。此外，支持自动 CPU offloading 和“一次编码多次生成”策略，可显著降低重复推理时的资源消耗。事实部分基于官方文档与代码示例，推断部分涉及工作流优化潜力，猜测部分未包含。