PH's Archviz x AI ComfyUI Workflow (FLUX1.TOOLS + CogVideoX)
详情
下载文件
关于此版本
模型描述
此 ComfyUI 工作流旨在将所有 FLUX1.Tools 集成,用于建筑图像的以下四种应用场景:1)图像生成、2)图像修复(Inpainting)、3)图像扩展(Outpainting)和 4)图像转视频(img2vid)生成。可能对其他人也有帮助。该工作流通过深度生成生成图像(可在模型加载器(第一部分)中切换 LoRA/模型,或自定义为边缘检测等),生成结果可在发送至 CogVideoX 前进行修复或扩展。已包含一些基础图像输入示例。
有关我如何使用此工作流的视频请见:
变更记录
v0.55_241219
- 在 CONFIG 中添加了 img2video“模式4”,现在支持从基础图像输入生成视频输出(建议关闭图像输出以获得更好效果)
- 在 CogVideoX CONFIG 中添加了“选择摄像机运动”功能,第二部分预设提示现在可通过 NimVideo 创建的摄像机运动 LoRA 实现运动效果(链接见下)
- 添加了“运动 LoRA 强度”参数,经测试最佳值为 0.6–0.8,有时 1.0 也可用,已加入所用资源列表
- 进一步简化了图像输入,除 Redux 外,所有内容均通过基础图像输入提供
v0.5_241213
- 修复了图像修复功能,原先因遮罩导致的模糊问题已解决,现在预览/保存节点将显示正确输出 咳嗽
- 添加了更简便的图像重设分辨率设置,默认设置为 1920 像素(保持长宽比)
- Redux 强度现在可通过 CONFIG 轻松调整
- LoRA 强度现在可通过 CONFIG 轻松调整
- 添加了视频输出的自动宽高比适配,根据输入自动创建横屏或竖屏
- 简化了视频输出流程,处理节点已移至 CogVideoX 输出,现在可通过 rgthree 的快速旁路器一键启用/禁用
- 合并了修复与扩展的输入,节省空间
- 添加了标准图像保存节点(低质量/LQ:72 dpi jpg;高质量/HQ:300 dpi png,包含元数据/工作流信息)
v0.4_241129
- 添加了真正的图像修复功能,现在图像在经历 3–4 次修复后不会被损坏
- FLUX1.Redux 现已整合至本工作流(黑色节点)
- 可轻松在图像生成提示间切换
- 优化了工作流
v0.3_241122
- 初始版本发布
请注意,此工作流对 VRAM 资源需求很高(如视频中所示)。
资源列表:
使用的模型:
检查点(Checkpoints)
- flux1-dev.safetensors
- flux1-depth-dev.safetensors
- flux1-fill-dev.safetensors
- ->(FP8 版本请见:https://huggingface.co/boricuapab)
LoRA
- flux1-depth-dev-lora.safetensors
- pytorch_lora_weights.safetensors(https://huggingface.co/NimVideo/cogvideox1.5-5b-prompt-camera-motion/blob/main/pytorch_lora_weights.safetensors)
CogVideoX
- CogVideoX-5b-1.5-I2V
CLIP
- t5xxl_fp16.safetensors
- clip_l.safetensors
VAE
- ae.safetensors
使用的自定义节点:
- GitHub - ltdrdata/ComfyUI-Manager
- GitHub - rgthree/rgthree-comfy
- GitHub - chrisgoringe/cg-image-picker
- GitHub - kijai/ComfyUI-KJNodes
- GitHub - kijai/ComfyUI-CogVideoXWrapper
- GitHub - yolain/ComfyUI-Easy-Use
从 BlackForestLabs 下载 FLUX 等资源
Kijai 的 CogVideoX1_5i2v 视频相关组件 + KJNodes
rgthree-comfy 用于提升使用体验
chrisgoringe 的 cg-image-picker 用于预览选择
theUpsiders Logic 节点用于部分自动化功能
在 4090 显卡上,生成一张 1920x1440 像素的图像和一段 49 帧、1360x768 像素的视频(不含额外修复/扩展)大约耗时 530 秒,VRAM 峰值约为 23GB,因此目前仅适合高性能设备使用。如需了解更新,请访问我的 Instagram。
