Cloth Migration and dressing style transfer

お問い合わせはこちら：

QQグループ：571587838

Bilibili：ホームページ

Civitai：ttplanet

WeChat：tangtuanzhuzhu

これはStable Diffusion (SD) モデルに焦点を当てた実験的なプロジェクトです。一度に生成された画像内で、同じオブジェクトやキャラクターは非常に高い一貫性を維持します。私はすでにSDXLモデルでこの課題の解決を試みました。

当時、私はControlNetモデルに減衰する重みを用いて良好な結果を得ました。参照画像を使用することで、非常に高い一貫性を保ちながら、単一のキャラクターの複数のビューを同時に生成することが可能でした。スケジュールの都合で、この研究は一時的に中断されていました。

最近、ic-loraに関する議論に出会い、これが従来のLoRAである一方で、DITモデルを活用してより高い一貫性と画像フォーマットの優れた制御を実現していることに気づきました。このフォーマット制御の効果を活用することで、応用における一貫性の実現が期待できます。ネットユーザー「lrzjason（別名：xiaozhi）」が提示した潜在的ガイドワークフローの概念に触発され、私は全体の前処理ロジックを簡素化し、非常に効果的な移行手法を開発しました。

このプロセスと手法により、モデルに必要なコンテンツに注目させるよう誘導することで、驚異的な移行・汎化効果を実現できます。現在、私は衣装用のマッチング移行モデルを開発しており、以下の機能を提供しています：

1. 驚異的に一貫した参照画像の衣装移行

   

   

2. アニメ風衣装→現実風、または現実風衣装→アニメ風への変換

   

3. 重みによる衣装類似度の制御でデザインの創造性を促進

今後の予定

1. 特徴的なアイテムの移行

2. 複雑で繊細なパターンの移行

3. 顔の移行

4. コミュニティからの追加アイデア

使用方法

Migration LoRAフォルダにある、私のHugging Faceプロジェクトからモデルをダウンロードできます。現在はCloth LoRAのみ提供していますが、準備次第で他のモデルも追加予定です。

必要条件

• ComfyUI：自動処理でモデルを実行するため。

• カスタムノード：

  1. TTP Toolset：ComfyUI_TTP_Toolset（最新版に更新してください）
  2. Tag Node：私は追加の方向性を提供するcustom_modification付きの私のバージョンをお勧めします：ComfyUI_JC2
  3. Alimama fluxインペインティングモデルも使用しました：Alimama_flux_inpainint

手順

**ワークフローは以下から取得ください：workflow

**またはこちらからダウンロード：/model/950776

1. ComfyUIおよび上記の必要なカスタムノードをインストールしてください。
2. Hugging FaceのMigration LoRAフォルダからCloth LoRAをダウンロードしてください。
3. ComfyUIにモデルをロードしてください。
4. 提供されているワークフロー例を使用して、目的の結果を実現してください。
5. 注意：Alimamaインペインティングモデルを同時にロードする必要があるため、fluxバージョンは慎重に選択してください。メモリ使用量が大きくなるため、速度が遅い場合はnf8を使用してください。または、FluxExt-MZのようなメモリ最適化ノードをご利用ください。

ワークフローは自由にカスタマイズして、ご自身のニーズに合わせて実験してください！