Render/Hue/HSX ControlNet

これは、画像の簡略化バージョンを用いて、異なるスタイルやシェーディングで「再レンダリング」するための概念実証です。UnetでNaNが発生することがありますが、その場合はUIをリセットして対応してください。今後、この機能が引き継がれ、より良いサポートが得られることを願っています。

1. Render Control Net
   Kmeansポスタリゼーション画像またはフラットカラーを使用して画像をレンダリングし、スタイルを変更します。
   プリプロセッサ：
   - Kmeansポスタリゼーション：G'Micのポスタリゼーションフィルターを9色で使用
   - RGBチャネルをBGRにスワップ（OpenCVありがとう、😒）。GIMPでは「カラー > コンポーネント > チャネルミキサー」で簡単に変更できます

- バランスまたはControlNetを優先：重み0.6–1.0で動作、txt2imgで使用

2. HSX Control Net
   ポスタリゼーション画像またはフラットカラーを使用して画像をレンダリングし、スタイルを変更します。
   プリプロセッサ：
   - HSV量子化によるポスタリゼーション：G'MicのHSXポスタリゼーションインデックスフィルターを使用（12段階の色相バンド、4（または3）段階の彩度バンド、4（または3）段階の明度バンド、HSVカラースペース）

- 今、半径3のメディアンブラーを適用
- Auto1111で「私のプロンプトを優先」を重み1.0で使用、txt2img

3. Hue Control Net
   Kmeansポスタリゼーション画像またはフラットカラーを使用して、画像の色相と彩度を制御します。形状の概念が欠如しているため、3Dレンダリングパスやドローイングのフラットカラー向けに作成されました。他のControlNetが形状を提供する必要があります。例では、ラインアートをMSLDで1.0で反転、Render ControlNetを0.6、Hue ControlNetを0.4で使用し、txt2imgで処理しました。
   プリプロセッサ：
   - Kmeansポスタリゼーション：G'Micのポスタリゼーションフィルターを9色で使用
   - 値を127に設定し、画像の上にレイヤーを作成して50%グレーで塗りつぶし、ブレンディングモードをHSV値に設定

- バランスまたはControlNetを優先：重み0.4–0.6で動作

トレーニング：

1. プロンプトから「赤」「青」「ゴールド」「マゼンタ」などの色に関する単語を除去し、15万枚の画像からなるカスタムデータセットでモデルをファインチューニング
2. 各ネットワークで使用したプリプロセッサを用いて、diffusersリポジトリで空のControlNetをトレーニング
   https://huggingface.co/blog/controlnet