alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Alpha

本存储库提供了由阿里妈妈创意团队发布的 FLUX.1-dev 模型的图像修复（Inpainting）ControlNet检查点。

最新动态

🎉 感谢 @comfyanonymous，ComfyUI 现已支持阿里妈妈图像修复 ControlNet 的推理。工作流可从 此处 下载。

ComfyUI 使用提示：

• 使用 t5xxl-FP16 和 flux1-dev-fp8 模型进行 28 步推理时，GPU 内存占用为 27GB。当 cfg=3.5 时推理时间为 27 秒，而 cfg=1 时为 15 秒。可使用 Hyper-FLUX-lora 加速推理。

• 可尝试调整（降低）参数 control-strength、control-end-percent 和 cfg 以获得更好效果。

• 下列示例使用 control-strength = 0.9、control-end-percent = 1.0、cfg = 3.5

输入输出提示该图像描绘了动漫系列《龙珠Z》中的场景，角色孙悟空、埃隆·马斯克和童年时期的悟饭正在共享一碗拉面。他们围坐在餐桌旁，孙悟空和悟饭在一侧，纳兰在另一侧。他们都拿着筷子吃面。桌上摆着拉面碗、杯子和饮料碗。角色与食物的布局营造出一种友谊与共餐愉悦的氛围。该图像描绘了一位男子站在咖啡馆中。他穿着白色高领毛衣、驼色风衣和棕色鞋子，手持手机，似乎正在查看。他的右侧有一张小桌子，上面有一只猫。背景中另有一位男子坐在桌旁使用笔记本电脑，穿着黑色高领毛衣和领带。一位金发女子坐在桌旁，身穿红白长裙。她手持一部绿色手机，似乎正在拍照。桌旁放着一个包，椅子边放着一个手提包。女子面带微笑看着手机。背景左侧墙上有一台电视，右侧有一张沙发，场景中还有一把椅子。图像描绘了一位年轻美丽的女子坐在书桌前读书。她留着长而卷曲的棕色头发，身穿灰色衬衫和黑色针织开衫，左手拿着一支红色铅笔，神情专注。周围摆放着大量书籍，有些堆在桌面上，有些放在她身后的书架上。背景中还可见一盆绿植，为场景增添一抹绿意。整幅图像传达出宁静与智慧追求的氛围。

模型卡片

• 该模型在 1200 万张来自 laion2B 和内部来源的图像上以 768x768 分辨率训练而成。在该尺寸下推理效果最佳，其他尺寸效果欠佳。

• 推荐的 controlnet_conditioning_scale 为 0.9 - 0.95。

• 请注意：此仅为训练过程中的 alpha 版本。我们将在准备就绪后发布更新版本。

展示

与 SDXL-Inpainting 的对比

与 SDXL-Inpainting 相比

从左至右：输入图像 | 掩码图像 | SDXL 修复 | 本模型

该图像描绘了一位年轻美丽的女子坐在书桌前读书。她留着长而卷曲的棕色头发，身穿灰色衬衫和黑色针织开衫，左手拿着一支铅笔，神情专注。周围摆放着大量书籍，有些堆在桌面上，有些放在她身后的书架上。背景中还可见一盆绿植，为场景增添一抹绿意。整幅图像传达出宁静与智慧追求的氛围。

一位金发女子坐在桌旁，身穿蓝白长裙。她手持一部绿色手机，似乎正在拍照。桌旁放着一个包，椅子边放着一个手提包。女子面带微笑看着手机。背景左侧墙上有一台电视，右侧有一张沙发，场景中还有一把椅子。

该图像描绘了一位男子站在咖啡馆中。他穿着白色高领毛衣、驼色风衣和棕色鞋子，手持手机，似乎正在查看。他的右侧有一张小桌子，上面放着一杯咖啡。背景中另有一位男子坐在桌旁使用笔记本电脑，穿着黑色高领毛衣和领带。桌面上还摆放着几杯饮料和一块蛋糕。坐在桌旁的男子似乎正在打字。

该图像描绘了动漫系列《龙珠Z》中的场景，角色孙悟空、纳兰和童年时期的悟饭正在共享一碗拉面。他们围坐在餐桌旁，孙悟空和悟饭在一侧，纳兰在另一侧。他们都拿着筷子吃面。桌上摆着拉面碗、杯子和饮料碗。角色与食物的布局营造出一种友谊与共餐愉悦的氛围。

使用 Diffusers

步骤1：安装 diffusers

pip install diffusers==0.30.2

步骤2：从 GitHub 克隆仓库

git clone https://github.com/alimama-creative/FLUX-Controlnet-Inpainting.git

步骤3：修改 image_path、mask_path、prompt，然后运行

python main.py

许可证

我们的权重遵循 FLUX.1 [dev] 非商业许可协议。