conceptmod tutorial - fire (updated ++ term) - train any lora with just text, no data required

详情

下载文件

模型描述

在以下内容上训练了 2000 步:
#|fire%{random_prompt}, fire:-0.1|fire++:guidance=2

动画使用 LoRA 强度 0.0 到 1.1,并使用触发词 fire

操作方法如下:
使用 RunPod 服务:https://runpod.io/gsc?template=8y3jhbola2&ref=xf9c949d

1. 创建一个 Pod

我选择了 3090 显卡。内存需大于 20 GB。
不要加密卷,容器磁盘默认 5 GB,卷磁盘为 50 GB,这些配置足够。
点击 继续

等待几分钟下载 conceptmod,当“连接”按钮变可用后,即可继续。

2. 登录 Web 控制台

点击“连接”,使用 SSH 或“启动 Web 控制台”进行连接。

登录后,会自动安装依赖项(耗时约一分钟),随后输出欢迎信息。

3. 发送你想用于训练的基础模型检查点:

注意:请务必使用 safetensors 格式的检查点。

使用 https://github.com/runpod/runpodctl

在本地

runpodctl send mycheckpoint.safetensors

在 Pod 上

cd /workspace/stable-diffusion-webui/models/Stable-diffusion/
runpodctl receive <发送时获得的代码>

注意:你也可以使用 scp、wget 或云存储附件来传输模型

4. 使用你的短语进行训练(1000 步约需 3 小时)

cd /workspace/sd-scripts

python3 train-scripts/train-esd.py --prompt "#|fire%{random_prompt}, fire:-0.1|fire++:guidance=2" --train_method selfattn --ckpt_path /workspace/stable-diffusion-webui/models/Stable-diffusion/mycheckpoint.safetensors

每 300 步保存一次,约一小时一次。

选择短语

查看以下模型并挑选一个进行修改:https://civitai.com/tag/conceptmod?model=58873&sort=Newest

5. 提取 LoRA

bash /workspace/conceptmod/docker/extract_lora.sh /workspace/stable-diffusion-webui/models/Stable-diffusion/.safetensors

参数为第 (3) 步中的基础检查点。

6. (可选)在 WebUI 中测试 LoRA

现在你的模型(以及训练过程中的中间文件)将在 WebUI 中作为 LoRA 可用。从第 (3) 步中选择你的基础模型,并应用该 LoRA 以确定合适的强度。

固定种子,手动观察 LoRA 强度对模型的影响。

为方便使用:

cd /workspace/stable-diffusion-webui/Lora
mv compvis-word_firefire%\{random_prompt\}-0.1-metho.safetensors fire.safetensors

7. (可选)创建动画以展示 LoRA 如何改变图像

选择 a) 针对你的提示创建动画:

python3 lora_anim.py -s 0.0 -e 0.7 -l "fire" -p "fire prompt"

-s 表示起始 LoRA 强度
-e 表示结束 LoRA 强度
-l "fire" 是你的 LoRA
-p "fire prompt" 是你的提示语

选择 b) 使用 Top 80K 提示语 + 你的触发词(例如这些预览图)创建动画:

python3 lora_anim.py -s 0.0 -e 0.7 -l "fire" -lp ", fire"

默认提示语来自:https://huggingface.co/datasets/Gustavosta/Stable-Diffusion-Prompts

-lp ", fire" 是你的触发词。

持续运行以生成多个视频

while true; do python3 lora_anim.py -s 0.0 -e 0.7 -l "fire" -lp ", fire"; done

按 Ctrl-C 中止。动画会保存在 v4 目录中,格式为 mpv 文件。

传输你的视频:

在 Pod 上:

runpodctl send v4

在本地:

runpodctl receive <发送时获取的代码>

8. 下载 LoRA

在 Pod 上:

runpodctl send /workspace/stable-diffusion-webui/models/Lora/

在本地:

runpodctl receive <发送时获取的代码>

9. 停止并终止 Pod 以停止计费

前往 https://runpod.io/console.pods,停止并终止正在运行的 Pod

10. 将 LoRA 发布至 CivitAI,并添加标签 conceptmod。

请包含你的训练短语以获得五星好评。

https://civitai.com/tag/conceptmod?model=58873&sort=Newest

此模型生成的图像

未找到图像。