トレーニングモードを変更しました(現在はLoHa)、Kohya SSのトレーニングパラメータを変更してオプティマイザの不安定性を修正しました。オプティマイザも変更しました。現在はProdigyを使用しています。
以下の設定はすべてです:
画像数(繰り返しを含む)/ 各bucketの画像枚数(繰り返し回数を含む)
bucket 0: 解像度 (768, 512), 枚数: 816
bucket 1: 解像度 (768, 896), 枚数: 4
bucket 2: 解像度 (768, 1024), 枚数: 992
bucket 3: 解像度 (768, 1152), 枚数: 2170
bucket 4: 解像度 (896, 768), 枚数: 23
bucket 5: 解像度 (896, 896), 枚数: 71
bucket 6: 解像度 (896, 1024), 枚数: 98
bucket 7: 解像度 (896, 1152), 枚数: 40
bucket 8: 解像度 (1024, 768), 枚数: 1490
bucket 9: 解像度 (1024, 896), 枚数: 99
bucket 10: 解像度 (1024, 1024), 枚数: 802
bucket 11: 解像度 (1152, 768), 枚数: 763
bucket 12: 解像度 (1280, 768), 枚数: 540
平均AR誤差(繰り返しを除く): 0.025714800356640224
アクセラレータを準備しています
プロセス 0/1 用にモデルを読み込んでいます
StableDiffusionチェックポイントを読み込み: /mnt/SD/.ckpt/SDXL/juggernautXL_version2.safetensors
ランク調整アルゴリズムを使用: loha
Dropout値を使用: 0.0
LyCORISモジュールを作成
LyCORISモジュールを作成
Text Encoder用LyCORISを作成: 264モジュール
LyCORISモジュールを作成
U-Net用LyCORISを作成: 788モジュール
U-NetにLyCORISを有効化
オプティマイザ、データローダーなどを準備
非推奨: prepare_optimizer_params(text_encoder_lr, unet_lr) の代わりに prepare_optimizer_params(text_encoder_lr, unet_lr, learning_rate) を使用してください
Prodigyオプティマイザを使用 | {}
ステップ数を上書き。40エポックのステップ数: 63280
完全なbf16トレーニングを有効化
トレーニングを実行中
学習画像数 × 繰り返し回数: 3954
正則化画像数: 30064
1エポックあたりのバッチ数: 7908
エポック数: 40
デバイスあたりのバッチサイズ: 1
勾配合計ステップ数: 5
合計最適化ステップ数: 63280