Illustrious LoRA Training Guide

Illustrious LoRA トレーニングガイド

必要なときにリンクできるよう、自分自身のキャプション作成とLoRAのトレーニングプロセスを記録しています~

データセットキャプション

"私は、データセットのキャプション作成に関して、やや非伝統的、あるいは議論を呼ぶかもしれない私の思想を説明します"

CivitAI上の大多数のアニメモデルは、自動キャプション付けされたデータセットのみでトレーニングされ、手動での精選が一切行われていません。その結果、トリガー語が長大なテキストの壁のようになってしまいます。そのため、キャラクターだけの外観を再現するにも、既にデフォルトのトークン数すべてを使い切ってしまうことになります。

一方で、私の考えでは、キャプションには対象を定義しない「変数」のみを含めるべきです。本質的に、モデルはトリガー語と対象を関連付けるように学習すべきです。たとえば、金髪のキャラクターの場合、blonde hairタグはキャプションから削除すべきです。なぜなら、その「特徴」はキャラクターの名前とリンクされるべきだからです。そのため、私はトレーニング前にキャプションを手動で精選することを好みます。

一部の人々は、この方法がモデルの柔軟性を低下させると主張します。なぜなら、個々の細部を正確に制御できなくなるからです。しかし、これは両面性を持っています。私は、すべての細部をプロンプトに記述しなければ、結果がキャラクターにまったく似なくなってしまうモデルを試しました。したがって、総合的に見て、私は少数のタグでキャラクターを再現することを好みます。

トレーニングパラメータ

"数時間にわたるテストの末、私が最も効果的だったいくつかのパラメータを説明します"

• mixed_precision: GPUがサポートする場合はbf16を使用して、より良い結果を得る

• dynamo_backend: GPUがサポートする場合、トレーニング速度を約5％向上させる

• optimizer: 自動管理されたlearning rateにはProdigyを使用

  • learning_rate: 1.0に設定

• network_alpha: network_dimの0.5x〜0.25xに設定

  • d_coef: network_alphaとtrain_batch_sizeにより必要なより高い学習率に対応するため、1.0以上を使用

• lr_scheduler: Prodigyが学習率を高めに保ちがちな傾向に対抗するためcosineを使用

• clip_skip: illustriousには2を使用

• debiased_estimation_loss: 色の正確性を向上させるためにenable