中国語版Readme

このリポジトリは、AlimamaCreativeチームがリリースしたFLUX.1-devモデル向けの8ステップ蒸留LoRAを提供します。

説明

このチェックポイントは、FLUX.1-devモデルを基に訓練された8ステップ蒸留LoRAです。マルチヘッド識別器を使用して蒸留品質を向上させました。本モデルはT2I、インペインティングControlNet、およびその他のFLUX関連モデルに使用できます。推奨されるguidance_scale=3.5、lora_scale=1です。よりステップ数が少ないバージョンは後ほどリリース予定です。

• テキストから画像生成（Text-to-Image）

• alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Betaと組み合わせて使用。蒸留LoRAはインペインティングControlNetに良好に適応でき、高速生成された結果は元の出力に忠実に従います。

使用方法

diffusers

このモデルはdiffusersを直接使用して利用できます。

import torch
from diffusers.pipelines import FluxPipeline

model_id = "black-forest-labs/FLUX.1-dev"
adapter_id = "alimama-creative/FLUX.1-Turbo-Alpha"

pipe = FluxPipeline.from_pretrained(
  model_id,
  torch_dtype=torch.bfloat16
)
pipe.to("cuda")

pipe.load_lora_weights(adapter_id)
pipe.fuse_lora()

prompt = "A DSLR photo of a shiny VW van that has a cityscape painted on it. A smiling sloth stands on grass in front of the van and is wearing a leather jacket, a cowboy hat, a kilt and a bowtie. The sloth is holding a quarterstaff and a big book."
image = pipe(
            prompt=prompt,
            guidance_scale=3.5,
            height=1024,
            width=1024,
            num_inference_steps=8,
            max_sequence_length=512).images[0]

ComfyUI

• T2I turboワークフロー：こちらをクリック

• インペインティングControlNet turboワークフロー：こちらをクリック

学習詳細

本モデルは、美観スコア6.3以上、解像度800以上の100万枚のオープンソースおよび内部画像を用いて訓練しました。品質向上のため、アドバーサリアル学習を採用しています。手法では、オリジナルのFLUX.1-dev Transformerを識別器のバックボーンとして固定し、各Transformer層にマルチヘッドを追加しています。訓練中はguidance scaleを3.5に固定し、time shiftを3としています。

混合精度：bf16

学習率：2e-5

バッチサイズ：64

画像サイズ：1024x1024