NoobAI Inpainting ControlNet

NoobAI用インペインティングモデル

NoobAI Eps 1.0 で学習され、テスト済みであり、NoobAIをベースとした一連のモデル（epsおよびvバージョン、さらにはIllustriousをベースとしたモデルを含む）上で正常に動作することが確認されています。

モデルをmodels/controlnetに配置し、ComfyUIで画像ノードを読み込んでマスク領域を塗りつぶした後、インペインティングプリプロセッサを使用してマスク領域を純黒で埋め、condition imageとしてControlNetに投入することで、インペインティング（修復）が実現できます。

マスクを画像の端に描画すると、アウトペインティング（拡張）が可能です。

現在のところComfyUIのみ対応しています。WebUIではマスク領域が自動的に白色で埋められるため、モデルが純黒を必要とするという要件と衝突します。その後、WebUI用プラグインの作成を検討します。

2025年5月11日更新：WebUIプラグインに対応しました

https://github.com/Wenaka2004/sd-webui-controlnet-wenaka

これは私が改良したControlNetプラグインで、WebUIインターフェース上で正常に使用できます（オリジナルのControlNetと同時に有効にしないでください。オリジナル版は削除または無効化してください）。

https://github.com/spawner1145/stable-diffusion-webui-forge.git

このバージョンのForge WebUIも本モデルを使用できます。

謝辞：110kの高品質データセットと2×H100の計算リソースを提供してくださった@イチゴ^真優！
NoobAI XLの学習を担当された@Laxhar

また、学習用スクリプトを提供してくださった@euge