文档大纲

多种官方FLUX工具开源（转）

本来以为黑森林工作室开源完FLUX Dev模型后面不想再搞开源了，没想到一下整了一个大的，妈的。　

FLUX这下真无敌了！！发布官方的FLUX系列开源工具：　

  • FLUX.1 Fill 局部重绘和扩图模型
  • FLUX.1 Depth&Canny 官方Controlnet模型
  • FLUX.1 Redux 通过提示转换图像风格

基本上把用FLUX做一个AI画图应用需要的工具和模型都给你了，而且Comfyui已经支持，现在就可以冲了。

流量预警90G

通过百度网盘分享的文件：flux1-depth-dev-lora.safetensors

链接：https://pan.baidu.com/s/10BmYtY3sU1VQzwUy2gpNlw?pwd=qflr

通过百度网盘分享的文件：flux1-canny-dev-lora.safetensors

链接：https://pan.baidu.com/s/1of0t1vg4EZDXEGKtrCSNXg?pwd=yp1w

通过百度网盘分享的文件：sigclip_vision_patch14_384.safetensors

链接：https://pan.baidu.com/s/1an6intihM3sBkAQtT570Rg?pwd=y7vr

通过百度网盘分享的文件：flux1-redux-dev.safetensors

链接：https://pan.baidu.com/s/1q_1gTVAOaDuuPhdYEiUXPw?pwd=bal5

使用 FLUX.1 填充进行修复和修复

FLUX.1 Fill 引入了先进的修复功能，超越了 Ideogram 2.0 等现有工具和 AlimamaCreative 的FLUX-Controlnet-Inpainting等流行的开源变体。它允许无缝编辑，与现有图像自然集成。

图片

此外，FLUX.1 Fill 支持outpainting ，使用户能够将图像扩展到原始边界之外。　

图片

他们自己的测试表明Flux.1 Fill [pro] 的性能优于所有其他竞争方法，使其成为迄今为止最先进的修复模型。其次是 Flux.1 Fill [dev]，其性能优于专有解决方案，同时推理效率更高。

【发布方自己说："目前最好的是FlUX.1 Fill[pro]（非开源版），

然后开源的FLUX.1 Fill[dev]也超过了Ideogram V2。"

嗯？嗯？怎么有点英伟达显卡老黄"刀法"的味道？这拿捏的尺寸。。。】

【不管怎样，给我们开源生态带来了大礼，Flux推出至今已经有100多天了，真的是发展飞速。

国内的开源也做得非常棒，像阿里、智谱、小红书、字节等大厂都有积极在做开源】　

使用 FLUX.1 Canny / Depth 进行结构调节

结构调节使用精明的边缘或深度检测来在图像转换过程中保持精确控制。通过边缘或深度图保留原始图像的结构，用户可以进行文本引导的编辑，同时保持核心构图完整。这对于重新纹理图像特别有效。　

图片

FLUX.1 Canny / Depth 有两个版本：可实现最大性能的完整模型，以及基于 FLUX.1 [dev] 的 LoRA 版本，可更轻松地开发。　

使用FLUX.1 Redux进行图像变化和重新设计

FLUX.1 Redux 是适用于所有 FLUX.1 基本模型的适配器，用于生成图像变化。给定输入图像，FLUX.1 Redux 可以重现具有轻微变化的图像，从而可以细化给定图像。　

它自然地集成到更复杂的工作流程中，通过提示解锁图像重新设计。通过API，可以通过提供图像和提示来重新设计样式。最新型号FLUX1.1 [pro] Ultra支持该功能，允许组合输入图像和文本提示，以创建具有灵活宽高比的高质量 4 兆像素输出。　

图片

ComfyUI支持

ComfyUI 同步支持了Black Forest Labs 为 Flux.1 设计的 3 个系列新模型： Redux Adapter 、 Fill Model 、 ControlNet Models 和 LoRA （Depth 和 Canny）。　

图片

模型下载

FLUX.1 Fill：https://huggingface.co/black-forest-labs/FLUX.1-Fill-dev　

FLUX.1 Depth：https://huggingface.co/black-forest-labs/FLUX.1-Depth-dev　

Flux.1 Canny：https://huggingface.co/black-forest-labs/FLUX.1-Canny-dev　

FLUX.1 Redux：https://huggingface.co/black-forest-labs/FLUX.1-Redux-dev　

ComfyUI工作流：https://blog.comfy.org/day-1-support-for-flux-tools-in-comfyui/

BFL官方为Flux.1发的Fill (Inpaiting/Outpating)、Redux（类似IPA）、ControlNet三个系列模型目前可以在ComfyUI里使用了。

其中Redux可以同时和dev/schnell配合使用，目前其他模型需要和dev一起使用。

ControlNet同时有full model和LoRA形式！

Example workflow: https://comfyanonymous.github.io/ComfyUI_examples/

Full blog post: https://blog.comfy.org/day-1-support-for-flux-tools-in-comfyui/

ComfyUI教程

使用方法：

接下来本文介绍的是ComfyUI中的使用方法。有了模型以后，也存在其他使用方式，这个就等其他大佬研究发布了，本文暂时不做展开。

ComfyUI中的Fill使用

1. 将你的ComfyUI更新到最新。
2. 将clip_l和t5xxl_fp16模型下载到 models/clip 文件夹。确保你的 ComfyUI/models/clip/ 目录中，有 t5xxl_fp16.safetensors 和 clip_l.safetensors，你可以改用 t5xxl_fp8_e4m3fn.safetensors 来降低内存使用量，但如果您的 RAM 超过 32GB，建议使用 fp16 。
跑过flux就有这些模型，没有的话翻之前文章有下载工具教程：Flux
3. 在你的 ComfyUI/models/vae/ 文件夹中，有下面这个vae模型：ae.safetensors
夸克网盘：https://pan.quark.cn/s/57e7366b2308
4. 将最开始下载的 flux1-fill-dev.safetensors 放于 ComfyUI/models/unet/ 文件夹中
夸克网盘：https://pan.quark.cn/s/ce898c9c8313
百度网盘：链接：https://pan.baidu.com/s/1u_PrqTBw1mLNumeimSTzyg?pwd=99dz 
5. 使用flux_inpainting_example或者flux_outpainting_example工作流。
夸克网盘：链接：https://pan.quark.cn/s/4ec9d4cfce89
百度网盘：链接：https://pan.baidu.com/s/1qK_2kUojF6nsha9cD2Eg2Q?pwd=ris5

ComfyUI中的Redux使用

1. 将你的ComfyUI更新到最新。
2. 下载 sigclip_vision_patch14_384.safetensors 模型并将其放在 ComfyUI/models/clip_vision 文件夹中。
夸克网盘：链接：https://pan.quark.cn/s/739f71d42b87
百度网盘：见前文
3. 下载 flux1-redux-dev.safetensors 并将其放在 ComfyUI/models/style_models 文件夹中。
夸克网盘：链接：https://pan.quark.cn/s/32c8291c1c72
百度网盘：见前文
4. 确保你的ComfyUI/models/unet/文件夹中有flux dev 或 flux schnell。工具教程：Flux
5. 导入工作流：使用flux_redux_model_example工作流。
夸克网盘：链接：https://pan.quark.cn/s/4ec9d4cfce89
百度网盘：链接：https://pan.baidu.com/s/1qK_2kUojF6nsha9cD2Eg2Q?pwd=ris5

官方的ControlNet使用

参看ControlNet介绍：Flux的controlnet系列，这次官方做了Canny和Depth模型。

方式一：大模型方法（官方制作了大模型）
1. 下载flux1-canny-dev模型和flux1-depth-dev模型放到你的ComfyUI/models/diffusion_models/文件夹中。
夸克网盘：链接：https://pan.quark.cn/s/571d174ec17f
百度网盘：见前文
2. 加载flux_canny_model_example工作流，运行即可。depth需要自行更改。
夸克网盘：链接：https://pan.quark.cn/s/d2271cb6e81f
百度网盘：见前文
方式二：Lora方法（官方也制作了Lora）
1. 下载模型到你的ComfyUI/models/loras/文件夹中
夸克网盘：链接：https://pan.quark.cn/s/571d174ec17f
百度网盘：见前文
2. 加载工作流，运行即可。canny需要自行更改。
夸克网盘：链接：https://pan.quark.cn/s/d2271cb6e81f
百度网盘：见前文

flux_depth and canny_lora.json：
https://waytoagi.feishu.cn/wiki/PGC6wSLrmib1zLk0QFIcS0UKnDQ#share-ZUFJdb9yQomVmZxdCMWc5d9nnHf

flux_depth and canny_mode.json：
https://waytoagi.feishu.cn/wiki/PGC6wSLrmib1zLk0QFIcS0UKnDQ#share-Vw3sdQh8SoTFhFxQddDc0VI1nZc

flux_fill_inpaint.json：
https://waytoagi.feishu.cn/wiki/PGC6wSLrmib1zLk0QFIcS0UKnDQ#share-CIfedd6EDoNuUjxzniVcXcl4nyN

flux_redux_model.json：
https://waytoagi.feishu.cn/wiki/PGC6wSLrmib1zLk0QFIcS0UKnDQ#share-Sxlod7vZRo4lEBxROY9cpMGynMf

可以复用ipa的很多Lerp的玩法

阅读量： 297

网站备案号：沪ICP备2025137870号