Try-On clothing, FluxK (Florence2 + Phi LLM assisted)

詳細

ファイルをダウンロード

モデル説明

Flux-Kontext 服のトライオンワークフロー!

バージョン 2.0
* カプセル化されたワークフロー
* flux-nunchaku をサポート
* 手動で Flux と Phi モデルを VRAM から CPU にオフロード

これは私の服の転送ワークフローです。必要なのは以下の2つの画像だけです:

  • 服を着せたい被写体の画像

  • 転送したい服の画像

特別なプロンプトは不要で、そのまま使えるようになっています。正直、これを完成させるのにかなりの試行錯誤を重ねました。少し複雑ですが、ほとんどの場合、きちんと機能します。

画像からのテキスト抽出

画像に関するキャプションを抽出するために Florence2 を使用し、その混乱した情報を整理するために Phi を使っています。FluxK は非常に特定のプロンプトを必要とするため、この方法で(あまり手間をかけずに)ほぼ自動で処理しています :)

被写体の輪郭抽出

ClipSeg を使い、マスクの輪郭を描画することで、Flux Kontext の動作を助けている……かもしれません。それでも、FluxK に最終画像でどのような被写体を希望しているか明確に伝えるために、被写体の周りに円を描いています。

2段階手法

このワークフローは2つのステップで構成されています:

  1. 水着に着替える:これ以上の方法を見つけていません。袖やレギンスが最終的な画像に残ってしまうのを防ぐために必要です。

  2. 任意の画像から服を被写体に転送する

一貫性

これは時に非常に印象的であり、時にがっかりすることもあります。完璧に成功することもあれば、失敗することもあり、いくつかの画像はなぜかうまく動作しません:

  • 画像間のスケールや角度の違い

  • 入力画像のサイズや解像度が十分でない(関連情報は別途記載しています)

  • FluxK が服の種類を理解できない

  • Clip-L が一部のアイテムの名前を認識できない

  • 最も可能性の高い理由:あなたのためです(以下のセクションを確認してください)

SFW(安全なコンテンツ)

Flux Kontext は、SFW(安全なコンテンツ)を維持するためにあらゆる努力をします。入力画像が SFW でなくても、不適切な結果を生成することはめったにありません(例を参照)。一部の服の種類は動作しません。性器、乳首、カップの下部などのプライベートな部分は必ずカバーされている必要がありますが、入力画像はそのまま処理されます。この場合、Flux Kontext はこれらの領域に生地を拡張して、画像を処理できるようにします。

フィードバックをお待ちしています!

(進行中 v3.0 - 更新 2025-09-25)
[x] オフロード/リコールノードを改善し、非対応モデルを検出・無視する
[x] プロンプトを改善し、忠実度と転送品質を向上:シンプルであるほど良い。Flux は情報が多すぎると混乱する
[x] 赤い輪郭ステップを削除:赤いボックスに置き換え
[x] Phi を別のモデル:Gemma3:4b に置き換え
[x] ターゲットの最適化ステップを追加:被写体の顔や体を置き換えられないようにする
[~] 一貫性のあるワークフローのためにキャッシュノードを開発中。多くのワークフローで非常に便利です
[~] 実験的な余計な部分(カプセル化)を削除
[~] 新しいワークスペースを整理

中止:
[.] Florence2 のファッション向けファインチューンを使用:利用可能な唯一のものは、より劣っていた!

このモデルで生成された画像

画像が見つかりません。