alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Alpha

このリポジトリは、AlimamaCreativeチームがリリースしたFLUX.1-devモデル用のInpainting ControlNetチェックポイントを提供します。

ニュース

🎉 @comfyanonymous さんのご協力により、ComfyUIがAlimamaのInpainting ControlNetの推論をサポートするようになりました。ワークフローはこちらからダウンロードできます。

ComfyUIの使用テクニック：

• t5xxl-FP16およびflux1-dev-fp8モデルを使用して28ステップの推論を行うと、GPUメモリ使用量は27GBになります。cfg=3.5での推論時間は27秒、cfg=1では15秒です。Hyper-FLUX-loraを使用することで推論を高速化できます。

• より良い結果を得るために、パラメータcontrol-strength、control-end-percent、およびcfgを調整（低減）してみてください。

• 以下の例では、control-strength = 0.9、control-end-percent = 1.0、cfg = 3.5を使用しています。

入力出力プロンプトこの画像はアニメシリーズ『ドラゴンボールZ』のシーンを描いており、キャラクターのゴクウ、 イーロン・マスク 、そして子供版のゴハンがラーメンを共に食べている様子です。三人は食卓を囲んで座っており、ゴクウとゴハンが一方に、ナルトが反対側にいます。全員が箸を持ち、ラーメンを食べています。テーブルにはラーメンの碗、コップ、飲み物の碗が並べられています。キャラクターと食事の配置は、共に食事を楽しむ仲間意識を生み出しています。この画像はカフェに立つ男性のイラストです。彼は白いタートルネック、カムエル色のトレンチコート、茶色の靴を着用しており、携帯電話を手に持ち、見つめています。彼の右側には小さなテーブルがあり、その上に 猫 がいます。背景には、ラップトップを持ち、黒いタートルネックとネクタイを着用した別の男性がテーブルに座っています。金髪の女性がテーブルに座っており、 赤と白のロングドレス を着ています。彼女は右手に緑色の携帯電話を持ち、写真を撮っているようです。テーブルの横にはバッグ、椅子の横にはハンドバッグがあります。女性は携帯電話を微笑みながら見つめています。背景には左側の壁にテレビ、右側にソファが見え、椅子も配置されています。美しい若い女性がデスクに座って本を読んでいる様子を描いた画像です。彼女は長い波状の茶色の髪をし、グレーのシャツにブラックのカーディガンを着ています。左手には 赤い鉛筆 を持っており、深く考えているようです。周囲にはたくさんの本が配置されており、デスクの上に積まれたものや、背後の棚に並べられたものがあります。背景には観葉植物も見え、シーンに緑の要素を加えています。この画像は静けさと知的探究心を伝えており、読書に没頭する様子を描いています。

モデルカード

• このモデルは、解像度768x768で1200万枚のlaion2Bおよび内部ソース画像を用いて学習されました。推論はこの解像度で最も良く動作し、他の解像度では結果が劣化します。

• 推奨されるcontrolnet_conditioning_scaleは0.9 - 0.95です。

• 注意：これは訓練中のアルファ版です。準備ができ次第、更新版をリリースします。

サンプル画像

SDXL-Inpaintingとの比較

SDXL-Inpaintingと比較

左から右：入力画像 | マスク済み画像 | SDXLインペイント | 本モデル

美しい若い女性がデスクに座り、本を読んでいる様子を描いた画像です。彼女は長い波状の茶色の髪をし、グレーのシャツにブラックのカーディガンを着ています。左手には鉛筆を持っており、深く考えているようです。周囲にはたくさんの本が配置されており、デスクの上に積まれたものや、背後の棚に並べられたものがあります。背景には観葉植物も見え、シーンに緑の要素を加えています。この画像は静けさと知的探究心を伝えており、読書に没頭する様子を描いています。

金髪の女性がテーブルに座っており、青と白のロングドレスを着ています。彼女は右手に緑色の携帯電話を持ち、写真を撮っているようです。テーブルの横にはバッグ、椅子の横にはハンドバッグがあります。女性は携帯電話を微笑みながら見つめています。背景には左側の壁にテレビ、右側にソファが見え、椅子も配置されています。

カフェに立つ男性のイラストです。彼は白いタートルネック、カムエル色のトレンチコート、茶色の靴を着用しており、携帯電話を手に持ち、見つめています。彼の右側には小さなテーブルがあり、その上にコーヒーカップがあります。背景には、ラップトップを持ち、黒いタートルネックとネクタイを着用した別の男性がテーブルに座っています。背景のテーブルにはいくつかのカップとケーキがあります。テーブルに座っている男性はラップトップを打っているようです。

この画像はアニメシリーズ『ドラゴンボールZ』のシーンを描いており、キャラクターのゴクウ、ナルト、そして子供版のゴハンがラーメンを共に食べている様子です。三人は食卓を囲んで座っており、ゴクウとゴハンが一方に、ナルトが反対側にいます。全員が箸を持ち、ラーメンを食べています。テーブルにはラーメンの碗、コップ、飲み物の碗が並べられています。キャラクターと食事の配置は、共に食事を楽しむ仲間意識を生み出しています。

Diffusersでの使用方法

ステップ1：diffusersをインストール

pip install diffusers==0.30.2

ステップ2：GitHubからリポジトリをクローン

git clone https://github.com/alimama-creative/FLUX-Controlnet-Inpainting.git

ステップ3：image_path、mask_path、promptを修正して実行

python main.py

ライセンス

本モデルの重みは、FLUX.1 [dev]の非営利ライセンスに基づいています。