【Clothes】珊瑚宫心海 | Kokomi Costume (Genshin Impact)
詳細
ファイルをダウンロード
モデル説明
小さな実験を行い、特定の衣装概念を煉成する新しい方法を試しました：手動正則＋差異煉丹。蒙版訓練セット画像は106枚、ターゲット訓練セット画像は77枚です。
この衣装概念の主な訓練の難点は、画風と顔の影響を除去することなので、訓練プロセスは比較的複雑です。
このバージョンは現在までに煉成した中で最も優れたものですが、すべての精力を衣装の固定に費やしたため、汎用性が十分であるとは保証できません。もちろん、心海に関するすべての人物的特徴は「sangonomiya kokomi」というタグに集中させてありますので、これを心海のキャラクターロラとしても使用できますが、他のサイト内に存在する心海のモデルと比べて、効果が優れているとは限りません。
トリガーワード：official costume, white short shorts, choker, wide sleeves, white thighhighs, vision \(genshin impact\)
例：1girl, green hair, green eyes, solo, official costume, wide sleeves, white short shorts, white thighhighs, bare shoulder, choker, necklace, vision \(genshin impact\), outdoors, street, hair ornament, navel
現在この方法はほぼ形になりましたが、まだいくつかの小さな課題が残っています。主なものは以下の通りです：
この方法では、ターゲットキャラクターに一定程度の汎用性が求められます。つまり、ターゲット訓練セットと同等、あるいはそれ以上の枚数のマスク訓練セットが必要です。ここでは、さまざまな衣装を着た心海の二次創作画像を意味します。したがって、非常にマイナーで代替衣装が存在しないキャラクターにはこの方法は適用できません。（最小訓練セットは存在するでしょうか？例えば、私が最初にDreamBoothを訓練した際、正則化訓練のデフォルトパラメータは20枚の画像でした。LoRAの場合も、20枚の画像で十分に汎用性を確保できるのか、私は不明です。）
衣装の一部の細部（例：ショートパンツの宝石の装飾部分）が安定して生成されません。Anythingを使用すると、宝石の位置に穴ができてしまうことがあります。これは衣装がややアンダー・フィットしている可能性があり、さらに訓練を進めると画風がオーバー・フィットし始めてしまうため、今後も安定性の改善を継続する予定です。
髪飾りが再現できません。実験中に、一部の髪飾り付きの心海画像をマスク訓練セットに追加したことが原因かもしれません（多くはありませんが、約20％程度？）。したがって、ヘアアクセサリーを含む画像を二つのLoRA訓練セットから厳密に除外する必要があると推測されます。
ターゲット概念訓練セットのタグ統合の問題 —— 概念を簡単に呼び出しつつ、高精度にフィットさせるにはどうすればよいか。
マスクLoRAのフィット度 —— オーバーフィットはターゲットLoRAの訓練を難しくし、アンダーフィットはターゲットLoRAが画風の影響を受けやすくなります。そのため、マスクLoRAの選択は直感に頼る部分が大きいですが、ある程度のパターンは存在します。
一般的には、オーバーフィットが深刻なマスクLoRAを優先的に選択し、その後の訓練結果に応じて調整するべきです。訓練セットが十分に大きい場合、エポック数が同じであれば、マスクLoRAの画像数が多ければ多いほど、ターゲット概念の訓練は容易になると個人的には推測します。これが、マスク訓練セットの画像数をターゲット訓練セットより多くするよう勧める理由です。画像数が少ないと、画風とターゲット概念が分離できず（ターゲットLoRAがまだ十分にフィットしていない段階で画風の汚染が始まる）、問題が発生する可能性があります。
たとえば、この衣装を訓練する際、私は第二段階の差異煉丹にオーバーフィットの強いLoRAを使用しました（バッチサイズ=4、エポック=12、平均キー正規化値>0.96）。バッチサイズ=4、エポック>10になると、モデルに画風汚染の兆候が現れ始めました。そして10エポック前までは衣装はアンダーフィット状態でした。モデルのdim値が低いため、以降の画風の変化はそれほど大きくないと判断し、ターゲット概念の訓練難易度を優先的に下げるために、第二段階の訓練にはエポック=10または11のマスクLoRAを選択すべきでした。
このモデルは中国国内のいかなるAIプラットフォームにも投稿しません。なぜなら、それらのプラットフォームは非常に厳格な画像審査制度を採用しているからです。おそらく投稿しても、サンプル画像が1枚も通らない可能性があり、非常に不満が残ると思います。
すべての人物モデルは自作モデルです。もしサイト内の他の人物モデルを使用してこのモデルの効果が悪い場合、絶対に悪い評価を付けないでください。このモデルの訓練は本当に困難です。
コメント欄で煉丹の経験を共有してください。