BLIP를 사용한 CLIPTextEncode 노드

종속성

• Fairscale>=0.4.4 (ComfyUI에 포함되어 있지 않음)

• Transformers==4.26.1 (이미 ComfyUI에 포함되어 있음)

• Timm>=0.4.12 (이미 ComfyUI에 포함되어 있음)

• Gitpython (이미 ComfyUI에 포함되어 있음)

로컬 설치

ComfyUI_windows_portable\python_embeded 내부에서 다음 명령을 실행합니다:

python.exe -m pip install fairscale

그리고 ComfyUI_windows_portable\ComfyUI\custom_nodes\ 내부에서 다음 명령을 실행합니다:

git clone https://github.com/paulo-coronado/comfy_clip_blip_node

Google Colab 설치

여기에 어떤 위치든 셀을 추가하고 아래 코드를 입력하세요:

!pip install fairscale
!cd custom_nodes && git clone https://github.com/paulo-coronado/comfy_clip_blip_node

사용 방법

1. CLIPTextEncodeBLIP 노드를 추가하세요;

2. 노드에 이미지를 연결하고 min_length 및 max_length 값 중 하나를 선택하세요;

3. 선택 사항: BLIP 텍스트를 프롬프트에 삽입하려면 키워드 BLIP_TEXT를 사용하세요 (예: "a photo of BLIP_TEXT", medium shot, intricate details, highly detailed).

감사의 말

CLIPTextEncodeBLIP의 구현은 BLIP, ALBEF, Huggingface Transformers, timm의 자원에 의존하고 있습니다. 원저작자들이 오픈소스로 공개해 주신 데 감사드립니다.