CLIPTextEncode ノード with BLIP

依存関係

• Fairscale>=0.4.4 (ComfyUI には含まれない)

• Transformers==4.26.1 (既に ComfyUI に含まれている)

• Timm>=0.4.12 (既に ComfyUI に含まれている)

• Gitpython (既に ComfyUI に含まれている)

ローカルインストール

ComfyUI_windows_portable\python_embeded 内で以下のコマンドを実行：

python.exe -m pip install fairscale

さらに、ComfyUI_windows_portable\ComfyUI\custom_nodes\ 内で以下のコマンドを実行：

git clone https://github.com/paulo-coronado/comfy_clip_blip_node

Google Colab でのインストール

どこかのセルに以下のコードを追加：

!pip install fairscale
!cd custom_nodes && git clone https://github.com/paulo-coronado/comfy_clip_blip_node

使い方

1. CLIPTextEncodeBLIP ノードを追加；

2. ノードに画像を接続し、min_length と max_length の値を選択；

3. オプション：BLIP で生成したテキストをプロンプトに埋め込みたい場合は、キーワード BLIP_TEXT を使用（例: "a photo of BLIP_TEXT", medium shot, intricate details, highly detailed）。

謝辞

CLIPTextEncodeBLIP の実装は、BLIP、ALBEF、Huggingface Transformers、および timm のリソースに依存しています。オリジナルの作者の皆様によるオープンソース貢献に感謝申し上げます。