DoRA (49.11 MB): v05 Dora
トレーニングデータ (362.07 MB): ComfyUI_workflow+onetrainer_data+old_epoch_Dora_backup_data
● 40万枚の画像データセットでDoRAをトレーニングしました。
● 目標は、全体的なタグ認識と品質を向上させるDoRAを作成することです。
v04から51エポック、605,000ステップの追加トレーニングを実施しました。
● 各コンセプトはさらに強化されています。
一部のタグでは、キャラクターやコンセプトの再現性が向上している可能性があります。
ただし、完全な再現性をお求めの場合は、他のLoRAと組み合わせてご使用ください。
● v04と同様、ややオーバーフィット傾向にあるため、DoRAの重みを約0.5に下げると、ベースモデルのスタイルとのバランスが良くなり、テクスチャも改善される可能性があります。
● また、多くの否定的プロンプト、高いタグ重み、または高いCFG値は時としてアーティファクトを引き起こすことがあるため、これらの設定を見直すことをお勧めします。特にリアリスティックなモデルでは、これらの要因が視覚的アーティファクトの発生確率を大幅に高める可能性があります。
● また、v04～v02の以前のエポックの方が、一部のケースでは柔軟性が高く使いやすい可能性があるため、最適なバランスを見つけるために検討してみてください。
● 512pxでの生成が最も安定していますが、kohya_deep_shrinkを使用して768x1152pxなどの高解像度で生成すると、より印象的な画像が得られる場合がありますので、ぜひお試しください。若干のアーティファクトが発生する可能性がありますが、検証する価値は十分あります。
以下は、前バージョンと同じ説明です。
● DoRAまたはタグの重みを1以上に増やすと、不安定になる可能性があります。
ただし、1111やForgeのようなツールではタグの重みが正規化されるため、増加させても問題が発生しない場合があります。ComfyUIにも同様の正規化機能を持つカスタムプロンプトノードがあると考えられます。
重みを1に設定してもスタイルの影響や視覚的アーティファクトが強すぎる場合は、DoRAの重みを下げてみることをお勧めします。
サンプル画像には多くの不完全さが含まれていますが、これは大量のデータを扱う上で妥協した結果です。
● データセットの内容
コンセプト強化：240,000画像
審美性強化：130,000画像
人物＋リアリスティック：30,000画像
● このDoRAにはトリガータグは含まれていません。目的は、元のモデルを制限するのではなく、一般的なコンセプトの強化です。
● できるだけ多くのコンセプトを均等に学習させることを目標としています。単独では効果が弱いため、関連する複数のタグを組み合わせて使用することが必要になる場合があります。
キャラクターが緑の長い髪を持っていた場合、そのタグを含めるのが最適です。NSFWタグについても同様です。
● 特定のコンセプトを強化したい場合は、単一コンセプトLoRAの追加を推奨します。
● 「検閲済み、モザイク処理、縦線処理、テキスト」などの表現が現れる場合がありますが、これは私のデータセットにこれらの要素が含まれているためです。無検閲画像も含めていますが、多くの画像に検閲が施されています。それらを表現やアクセントとして楽しむか、否定的プロンプトに追加することをお勧めします。「uncovered」や「uncensored」をプロンプトに追加してもよいですが、必ずしも問題が解決されるわけではありません。
● NovelAI_v1でトレーニングを行ったため、その派生モデルで動作するはずです。ただし、特定のコンセプトやスタイルに対する過学習により、一部のモデルではコンセプトの忘れが発生することがあります。NovelAIでうまくいくものが、他のモデルでは効果が弱い場合があります。
● 否定的プロンプトには注意してください。
「worst quality, low quality:1.4」などの用語を使用すると高品質な画像が得られやすいですが、多様性が制限される可能性があります。
「スライムガール」などの特殊タグが効かない場合は、これらの否定的プロンプトの強度が高すぎる可能性があります。
● 短いプロンプトでは背景が単調になり、スタイルがリアリズム寄りになる傾向があります。
その場合は、背景タグを追加したり、服や髪型など可能な限り多くの詳細を含めて、生成したい画像を明確に定義してください。
● 一般タグとキャラクタータグのみをトレーニングしました。
作品のタイトル自体は明示的にトレーニングされていませんが、一部のキャラクター名にタイトルが含まれているため、偶然強化される可能性があります。
しかし、キャラクターや作品はトレーニングの焦点ではなかったため、十分に学習されていない可能性があります。そのため、過度な期待はしないでください。キャラクターの強化には単一コンセプトLoRAの使用がより効果的です。
● このLoRAは512pxを想定して設計されていますので、高解像度で使用すると時として歪みが発生します。高解像度修正やi2iアップスケーリング時にDoRAを無効にすると、よりクリアで歪みの少ない画像が得られる可能性があります。
● 参考として、私のOneTrainer設定も共有します。
これはU-Netのみのトレーニングです。Clip Skipは2でトレーニングしました。OneTrainerでは1に設定されています。ComfyUIワークフローも念のため共有します。
