Koda KOLORS Pack - Controlnets,12K Upscale, IPAdapter in ComfyUI

詳細

ファイルをダウンロード

モデル説明

v5パック -- (インストール情報、さらに表示、スクロールダウン)

v5パック --

v4パック --

v3パック --

v2パック

v1パック

KODAコレクション

New Kolors Base Model

ComfyUIでIP adapter plusを使用

v1パック

  • base txt2imgおよびimg2imgワークフロー
  • base Kolors IP adapter-plus

v2パック

  • SUPIR Upscalerを使用した高度なIP Adapterワークフロー

  • Hyper Kolors / LCM Kolorsの基本ワークフロー

v3パック

  • ip adapter embeds

  • すべてを一つにまとめたワークフロー

  • SUPIRアップスケーリング

v4パック

  • 12K、3段階アップスケーリング

  • SDXLチェックポイントマージ、UNETブロック重み付け

  • Sampler Garden(チューニング済みグリッド)

v5パック

  • すべてを一つにまとめたタイプのワークフロー

  • controlnet canny + depth(オン/オフ切り替え)

  • IP Adapter アドバンスド(オン/オフ切り替え)

  • Sampler Garden(オン/オフ切り替え)

  • 12Kアップスケーリング(2段階切り替え)

v6パック

  • すべてを一つにまとめたタイプのワークフロー

  • controlnet canny + depth(オン/オフ切り替え)

  • IP Adapter 2段階(オン/オフ切り替え)

  • Sampler Garden(オン/オフ切り替え)

  • フェイスモデル作成&交換切り替え

  • カラーマッチ/リミックス付き12Kアップスケーリング(2段階切り替え)

  • 自動プロンプト強化バリアントワークフロー

V6ワークフローの使い方

主要なコントロールパネルは、より簡単に操作できるようにリファクタリングされています。

ここでは、txt2imgの基本的なKolorsを使用して、プロンプトから簡単な出力画像を得ることができます。
IP Adapterに画像を配置した後、以下のように有効にできます:

上記のように、モデルスイッチ(2)を使用してIPAdapterを有効化できます。このスイッチを使えば、コントロールネットをIPAdapterと共に、または独立して使用できます。

良い画像を作成したら、アップスケーリングセクションを有効にできます:

すべての寸法はAspectSizeV2によって制御されており、動画で完全に解説されています。

新しいアップスケーラーでは、カラーマッチとカラーリミックスの2つのオプションが利用できます:

カラーマッチに同じ画像を使用するか、他の画像を使って使用する色範囲を変更して実験できます。

新しいワークフローの2つ目である「Auto-Prompt」エンハンサーは、ポジティブとネガティブの両方に使用されます。左端のボックスにシンプルなプロンプトを入力し、マジックプロンプト、ワンタッチプロンプト、自動ネガティブのオプションを使ってプロンプトを強化できます。

これは新しいすべてを一つにまとめたワークフローと同じですが、ここで示したように、これで迅速に何ができるかの例です。多くの珍しいトークンを導入し、ポジティブとネガティブの両方でスタイルドロップダウンリストと狂気レベルの機能を備えています。完全なプレビューが含まれており、追加された内容を確認できます。

V5ワークフローの使い方?

txt2img with Cnet+Ipa
(Koda-Kolors-Zero-Legacy)

  1. Base Kolorsモード

    モデルスイッチ(1)

    Kolors Basicのみ有効

    txt2imgのみとして機能

  2. IPadapterモード

    モデルスイッチ(2)

    Kolors Basicと(2)IPadapterが有効

  3. Controlnetモード

    モデルの位置に関係なく使用できます。

    デフォルト動作として、DepthとCannyのグループを同時に有効化してください。

  4. すべての攪乱モード(Sampler Garden)

    ControlnetまたはIPAモードの有無に関わらず使用できます。

    コピーしてカスタマイズし、ダイナミックなグリッドを構築できます。

  5. 12Kアップスケーリング

    ステージ1、2、3はそれぞれ2倍のアップスケールを実行します。ご自身の最適なアップスケーリングモデルも使用できます。

    比較用ツールは下部に配置されており、簡単にアクセスできますが、91MBの画像はUIの遅延を引き起こす可能性があります!ステージ2と3では、すべてのプレビューを最小化または非表示にすることを推奨します ;)

V4ワークフローの使い方?

下記画像:ステージ4が有効、スイッチ位置4、[4] Embeds結合。


新しいすべてを一つにまとめたワークフローは多機能で、ステージ1、2、3、4で使用できますが、使用がずっと簡単です。モデルスイッチをアクティブなグループに合わせるだけです。すべてはv3動画とワークフロー内のノートで説明されています。

ステップ1. txt2imgのみ

モデルスイッチ1

すべてのグループをバイパスするときに使用

これはKolors txt2imgです

画像を生成し、最も良いものをIP Adapterの画像読み込みノードに配置してください

最も右の画像読み込みノードは、ネガティブ埋め込みとしても使用されます。

ステップ2. a) IP Adapter

モデルスイッチ2

グループ[2] IP Adapterを有効化する必要があります

選択したIPadapter画像バッチの出力をテストしてください。これはプロンプトとは完全に分離されています。結果に満足したら:

ステップ2. b) Embedsの保存

モデルスイッチ2

グループ[2] IP Adapterを有効化する必要があります

ポジティブとネガティブをIPA埋め込みファイルとして保存します

これらのファイルは \models\output\ に保存されます

一度実行してから、ファイルを \models\input\ にコピーしてください

その後、ComfyUIで更新ボタンをクリックしてください

ステップ3. Embedsの読み込み

モデルスイッチ3

グループ[3] Embedsの読み込みを有効化する必要があります

埋め込みを作成したら、それをテストしましょう。

ポジティブとネガティブを読み込み、生成をテストしてください。

キャラクター、スタイル、シーンでこのプロセスを繰り返し、いくつかの要素を集めておきましょう。その後、最終ステージに進みます。

ステップ4. Embedsの結合

モデルスイッチ4

グループ[4] Embedsの結合を有効化する必要があります

必要に応じて埋め込みを選択し、ノードを追加または削除してください

補間と演算子を使用でき、通常のIP Adapterノードすべてが利用可能です。

これはSD1.5でAesthetic Embeddingsが機能したのと同様に動作します。

ほとんどの用途では、スタイルやコンセプトを固定し、テキストプロンプトで生成するのが最適です。LORAがこれに最適ですが、モデルメモリの制約内でも、これに非常に近い結果を得られます。

SUPIRグループはどのステージでもオン/オフ切り替え可能で、容易にアップスケーリングが可能です。

~

必要なもの:

  • 欠けているすべてのカスタムノードをインストールし、最新版のComfyUIを使用してください

  • 詳細なセットアップ情報についてはv1動画をご覧ください

https://huggingface.co/Kijai/ChatGLM3-safetensors/tree/main

モデルの1つをダウンロードしてください。私はfp8バージョンを使用しますが、他のバージョンを使用しても構いません。

ComfyUI\models\LLM\checkpoints\ に配置してください

https://huggingface.co/Kwai-Kolors/Kolors/resolve/main/unet/diffusion_pytorch_model.fp16.safetensors

ComfyUI/models/unet/diffusers/kolors に配置してください

https://huggingface.co/Kwai-Kolors/Kolors

私はここにdiffusersからのこれらのすべてのファイルを追加しました。
すでに「diffusion_pytorch_model.fp16.safetensors」をダウンロードし、/models/unet/kolors/ に配置しました。一部のノードは別の場所を参照するため、どちらの方法を使用しても動作します。これは動画で説明されています。

text_encoderの内容の.binファイルは必要ありません。代わりにChatGLM3.fp8.safetensorsを使用しました。

ComfyUI\models\diffusers\Kolors\ の構造

ComfyUI\models\diffusers\Kolors> tree /F
│   model_index.json
│
├───scheduler
│       scheduler_config.json
│
├───text_encoder
│       config.json
│       tokenizer.model
│       tokenizer_config.json
│       vocab.txt
│
└───unet
        config.json
        diffusion_pytorch_model.fp16.safetensors

Kolors IP Adapter

https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-Plus

ip_adapter_plus_general.binをダウンロード

\models\ipadapter\kolors\ に配置してください

Kolors Clip Vision

https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-Plus/tree/main/image_encoder

pytorch_model.binをダウンロード

\models\clip_vision\kolors\ に配置してください

/model/441432/mistoline

\models\controlnet\kolors\ に配置してください

サブフォルダの使用を推奨します。必要に応じて名称を変更してください。

VAE

すべてのVAEについては、お気に入りのSDXL VAEを使用してください

CONTROLNET

https://huggingface.co/Kwai-Kolors/Kolors-ControlNet-Depth/resolve/main/diffusion_pytorch_model.safetensors?download=true

ダウンロードして、kolors_controlnet_depth.safetensors にリネーム

https://huggingface.co/Kwai-Kolors/Kolors-ControlNet-Canny/resolve/main/diffusion_pytorch_model.safetensors?download=true

ダウンロードして、kolors_controlnet_canny.safetensors にリネーム

両方を \models\controlnet\kolors\ に配置してください

~

これらの成果は、以下の皆様のご尽力がなければ実現できませんでした:

@cubiq [IP Adapterノード]

@kijai [Kolors Wrapper]

@MinusZoneAI [Kolors Ipadapterノード]

Cubiq

https://github.com/cubiq/ComfyUI_InstantID

Kijai

https://github.com/kijai

Minus Zone AI

https://github.com/MinusZoneAI

このモデルで生成された画像

画像が見つかりません。