[WAN 14B] LoRA

• diffusion-pipe を使用して、Wan2.1-T2V-14B に画像と動画を含むデータセットで学習

  • 37枚の画像、23本の動画

• ComfyUI_examples/wan/#text-to-video で生成された動画プレビュー

  • LoraLoaderModelOnly ノードで LoRA を読み込み、fp8 14B の wan2.1_t2v_14B_fp8_e4m3fn.safetensors を使用

• 変更された ComfyUI_examples/wan/#text-to-video で生成された画像プレビュー

  • フレーム長を1に設定

  • アップスケーリングを追加

• ComfyUI_examples/wan/#image-to-video で生成された画像から動画へのプレビュー

学習設定:

dataset.toml

# 解像度設定。
resolutions = [524]

# アスペクト比バケット設定
enable_ar_bucket = true
min_ar = 0.5
max_ar = 2.0
num_ar_buckets = 7

# フレームバケット（1は画像用）
frame_buckets = [1]

[[directory]] # 画像
# 画像および対応するキャプションファイルを含むディレクトリのパス。
path = '/mnt/d/huanvideo/training_data/images'
num_repeats = 5
resolutions = [720]
frame_buckets = [1] # 画像には1フレームを使用

[[directory]] # 動画
# 動画および対応するキャプションファイルを含むディレクトリのパス。
path = '/mnt/d/huanvideo/training_data/videos'
num_repeats = 5
resolutions = [256] # 動画解像度を256に設定（例：244p）
frame_buckets = [28, 30, 37, 38, 41, 42, 47, 48, 50, 52, 57]

config.toml

# データセット設定ファイル
output_dir = '/mnt/d/wan/training_output'
dataset = 'dataset.toml'

# 学習設定
epochs = 50
micro_batch_size_per_gpu = 1
pipeline_stages = 1
gradient_accumulation_steps = 4
gradient_clipping = 1.0
warmup_steps = 100

# 評価設定
eval_every_n_epochs = 5
eval_before_first_step = true
eval_micro_batch_size_per_gpu = 1
eval_gradient_accumulation_steps = 1

# その他の設定
save_every_n_epochs = 5
checkpoint_every_n_minutes = 30
activation_checkpointing = true
partition_method = 'parameters'
save_dtype = 'bfloat16'
caching_batch_size = 1
steps_per_print = 1
video_clip_mode = 'single_middle'

[model]
type = 'wan'
ckpt_path = '../Wan2.1-T2V-14B'
dtype = 'bfloat16'
# LoRA学習時にはトランスフォーマーにfp8を使用可能
transformer_dtype = 'float8'
timestep_sample_method = 'logit_normal'

[adapter]
type = 'lora'
rank = 32
dtype = 'bfloat16'

[optimizer]
type = 'adamw_optimi'
lr = 5e-5
betas = [0.9, 0.99]
weight_decay = 0.02
eps = 1e-8