Cloth Migration and dressing style transfer

ttplanetttplanet
67
1.3K
style
v1.0

詳細

ファイルをダウンロード

モデル説明

このワークフローは、プロンプトを修正することで他のic-loraにも適応できます!!!

お問い合わせ先：

QQグループ：571587838

Bilibili：ホームページ

Civitai：ttplanet

WeChat：tangtuanzhuzhu

このプロジェクトは、Stable Diffusion（SD）モデルに焦点を当てた実験的な取り組みです。1枚の生成画像内で、同じオブジェクトやキャラクターが非常に高い一貫性を保ちます。私はすでにこの課題をSDXLモデルで解決しようと試みました。

当時、私はControlNetモデルに減衰係数を適用することで良好な結果を得ました。参照画像を使用することで、1つのキャラクターの複数の視点を同時に生成しつつ、極めて高い一貫性を実現できました。スケジュールが忙しかったため、この研究のさらなる探求は一時中断されました。

最近、ic-loraについての議論に出会い、これが標準的なLoRAである一方で、DITモデルを活用してより高い一貫性と画像フォーマットの優れた制御を実現していることに気づきました。このフォーマット制御の効果を活用すれば、アプリケーションでの一貫性の実現が可能であると考えました。ネットユーザー「lrzjason（別名：xiaozhi）」が紹介した潜在空間ガイド付きワークフローのアイデアに触発され、私は全体の前処理ロジックを簡素化し、非常に効果的な移行方法を開発しました。

このプロセスと手法を通じて、モデルを必要なコンテンツに注目させるよう誘導することで、驚異的な移行および汎化効果を実現できます。現在、私は衣類向けのマッチング移行モデルを開発しており、以下のような機能を提供しています：

  1. 驚異的に一貫した参照画像の衣類移行

    ComfyUI_temp_veptx_00011_

    ComfyUI_temp_bgltt_00001_

  2. アニメ風衣類をリアルに、またはリアルな衣類をアニメ風に変換

    7e95939782f43a7272f2ff796f231871

  3. 重みによる衣類の類似度制御でデザインの創造性を刺激

今後の予定

  1. 特徴的なアイテムの移行

  2. 複雑で繊細なパターンの移行

  3. 顔の移行

  4. コミュニティからの追加アイデア

使用方法

Migration LoRAフォルダにある私のHugging Faceプロジェクトからモデルをダウンロードできます。現在はCloth LoRAのみ提供されていますが、準備ができ次第、他のモデルも追加します。

または、こちらからダウンロード：

/model/950736/cloth-migration-and-dressing-style-transfer

必要条件

  • ComfyUI：オートプロセスでモデルを実行するために必要。

  • カスタムノード：

    1. TTP Toolset：ComfyUI_TTP_Toolset（最新バージョンに更新してください）
    2. Tag Node：追加の方向性を提供するcustom_modification機能付きの私のバージョンをお勧めします：ComfyUI_JC2
    3. Alimama fluxインペインティングモデルを使用しています。こちらから取得できます：Alimama_flux_inpainint

手順

**ワークフローはここで確認できます：workflow

  1. ComfyUIと上記の必要なカスタムノードをインストールします。
  2. Hugging FaceのMigration LoRAフォルダからCloth LoRAをダウンロードします。
  3. ComfyUIにモデルを読み込みます。
  4. 提供されたワークフローの例を使用して目的の結果を達成します。
  5. 注意：Alimamaインペインティングモデルを同時に読み込む必要があるため、fluxバージョンを慎重に選択してください。VRAMが不足する場合はnf8を使用してください。また、メモリ最適化ノードFluxExt-MZなどの使用を検討してください。

ワークフローを自由に実験し、ご自身のニーズに合わせてカスタマイズしてください！

このモデルで生成された画像

画像が見つかりません。