【Clothes】妮露 | Nilou Costume (Genshin Impact)
詳細
ファイルをダウンロード
モデル説明
基本トリガー:circlet, pelvic curtain, veil, skirt, crop top, puffy long sleeves, harem outfit, fake horns, neck ring, blue gemstone
代替トリガー:thighlet, gladiator sandals, jewelry, from behind, bare back, back tattoo
その他:dancing, outstretched arms, armpits, bare shoulder, bare legs, underwear, ...
「1girl」、「solo」、および人物の特徴に関するさまざまな記述を含める必要があります。これまでのテスト結果では、画風に若干影響が出ているため、DPM++ SDE Karras サンプリングがより安定しています(画風LoRAを使用している場合、このサンプリング方式を推奨します)。画風が不自然に見える場合は、他のサンプリング方式に切り替えたり、特定のLoRAの重みを調整してください。
モデルはやや過学習しており、一部の細部エラーはベースモデルの欠陥によるものです。また、トリガー詞に関しては、thighlet と gladiator sandals が競合する可能性があり、jewelry は基本的に不要です。
———————————————
自白聖女モデル以来、最も訓練が難しいモデルです。主な難点は、画風の除去と特徴の保持です。
従来の衣装訓練手法を使用すると、以下の2つの問題が発生します:特徴はよくフィットするが、画風や人物に深刻な汚染が生じる、または人物と画風の汚染は避けられるが、特徴が著しく不足する(アンダーフィット)です。テキストエンコーダーだけを訓練すると、ある程度画風汚染を防げますが、衣装自体も依然としてアンダーフィットになります。
したがって、私は5日5晩かけ、最終的な最適化手法をようやく考案しました。この手法では、UNetとテキストエンコーダーのトレーニングフローを変更せずに、「画風の影響」を測定・直感的に反映する「コア指標」を見つけ出し、画風の影響を除去しつつ特徴のフィッティングを損なわせません。これにより、かつて「心海衣装」の訓練に用いた手法を、ほぼ満足できるレベルまで最適化することができました。
この方法では、従来のステップの間に「画風正則化」操作を追加し、UNetトレーニングによる画風汚染の影響を最大限に低減します。私はこの方法を「反復正則法」と名付けました。全体の流れは以下の通りです:
マスク画像のラベリング → 画風除去 → マスクLoRAの選定 → ベースモデル統合 → 目的画像のラベリング → 同一概念の統合 → 概念除去 → 目的LoRAの選定
もし、2つの概念セットの画像がそれぞれの融合画風においてほぼ同等であれば、ここで終了します。しかし、目的トレーニングセットとマスクトレーニングセットの融合画風に大きな差がある場合、目的LoRAを選定した後、再度画風除去を行い、最終LoRAモデルを選定するまで再学習する必要があります。
画風除去の際、モデルの汎化性が低すぎる場合は、サンプリング方法としてDDIMを推奨し、η係数を0.5以上に設定してください。
現在、この方法は複数の衣装概念を持つキャラクターの特定衣装訓練に、すべて適用可能です。つまり、マイナーなキャラクターであっても、他の交換可能な衣装が存在すれば、衣装概念を学習できます。ここで推奨するのは、キャラクターの裸体画像をそのまま第二の衣装概念として使用することです。これにより、3枚の画像だけで人物特徴が比較的単純なマスクLoRAを構築することも可能です。
衣装概念に限らず、この方法はあらゆる具体的な概念の分離訓練に適用可能です。元のステップを適切に調整すればよいだけです。以前のほとんどの問題は調査を通じて解決策が見つかっていますが、直接説明するのは煩雑なので、ここでは割愛します。ご不明な点がございましたら、コメント欄でお気軽にお尋ねください。





