LyCORIS-GEM

私のMIX-GEM-T2_2モデル（およびギャップを埋めるための他のいくつかのMIX-GEM出力）の出力に基づいて訓練された実験的なLoConです。このモデルを自分の理想の美的感覚に合うように長い間微調整しました。そのため、新しいSDXLベースから再びリミックスするのではなく、直接このモデルからスタイルを抽出しようと考えました。出力はあまりきれいではなく、このLoConには多くの問題があります。よりクリーンな出力を用いて、データセットを数回再生成する必要があるでしょう。このLoConには多くのバージョンが登場する可能性があり、これは繰り返しのプロセスで、多くの再学習を伴うはずです。

プロトタイピングから得られた洞察：

• Prodigyは、PonyXL上でスタイルLoConを訓練する際にAdamW8bitよりも劣ります。たとえ学習率を高くしても、AdamW8bitに比べてはるかに少なく学習します。しかし、Prodigyはベースモデルのポージングをはるかに速く破壊する一方で、オリジナルのポージングをより良く保持する傾向があります。

• スタイルの訓練にはLoConがLoRAよりも優れています。

• スタイルの保持は、小さなミスを強調するのと同時に発生します。これは通常のスタイル訓練では大きな問題ではありませんが、SD1.5出力の訓練では、不要なノイズが美的意味のないランダムな要素に拡散されるため、非常に問題になります。クリーンな出力だけを選択することが不可欠です。

今後の試行項目：

• 白背景の正則化画像

• 手をできるだけ隠す

• クリエイティブ・コモンズのキャラクターをデータセットの一部として使用する

テストの結果、何らかの理由でこのLoConはautismMixSDXLでは性能が悪く、多くの詳細が薄れますが、4th tailでは非常に優れた性能を発揮します。