Layer Diffuse with any model ComfyUI Workflow

이 워크플로우를 사용하면 현재 트레이닝된 Layer Diffusion 모델이 없는 모든 체크포인트 아키텍처로 투명 이미지를 생성할 수 있습니다. 이 방식은 기존 모델이 다른 아키텍처와 마법처럼 작동하도록 만들지 않으며, 이러한 제한을 우회하기 위한 몇 가지 지능적인 트릭을 사용합니다. 다른 내 작업들과 달리, 이 워크플로우는 최대한 간단하게 구성되어 있어 여러분이 이를 자신의 작업에 적용할 수 있도록 설계되었습니다. 아래 세부 사항을 꼭 읽어보세요.

종속성
https://github.com/huchenlei/ComfyUI-layerdiffuse
https://github.com/Fannovel16/comfyui_controlnet_aux

구현 방법
우선 지원되는 모델로 이미지를 생성합니다. 현재 작성 시점 기준으로 SD1.5 및 SDXL이 지원되며, Pony도 작동하지만 Illustrious/NoobAI는 작동하지 않습니다.
아래는 Pony 체크포인트를 사용하여 생성한 이미지이며, Layer Diffusion 모델을 적용했지만 아직 Layer Diffusion 디코딩을 하기 전(즉, 아직 투명도가 없는) 상태입니다:

디코딩 후에는 투명한 이미지를 얻게 됩니다. CivitAI는 투명도를 제대로 지원하지 않지만, 여기서 검은색은 실제로 투명 부분을 의미합니다.

이 이미지는 여전히 Pony 이미지이므로, 별다른 워크플로우 없이도 생성할 수 있습니다. 우리는 Layer Diffusion 모델이 없는 체크포인트로 이미지를 생성하고자 합니다.
따라서 이 이미지를 저장하는 대신, Layer Diffuse Decode 노드에서 마스크를 추출합니다:

이제 처음으로 생성한 이미지를 사용하여, ControlNet 전처리기를 통해 Layer Diffusion 디코딩 이전의 Pony 이미지로부터 깊이 및 HED(부드러운 에지) 이미지를 생성합니다(부드러운 에지 대신 선형 아트도 사용 가능합니다):

이 두 ControlNet을 적용하여 Layer Diffusion 모델이 없는 체크포인트(여기서는 Illustrious 체크포인트)로 이미지를 생성합니다:

캐릭터가 이전에 추출한 마스크 범위 내에 유지되도록 ControlNet 강도를 충분히 높게 설정해야 합니다.
이제 마지막 단계로, 해당 마스크를 사용하여 캐릭터를 잘라냅니다:

완성! Illustrious Layer Diffusion 모델 없이도 Illustrious로 투명 배경 이미지를 생성했습니다.

사용된 체크포인트:
T-Ponynai3
Aungir

LORA
이 방식에 캐릭터 LORA를 사용하려면, 두 아키텍처 모두에 해당 LORA가 필요할 수 있습니다. 포즈 모델도 마찬가지이며, 워크플로우의 초기 단계에 해당하는 모델에 더 집중하세요.

업스케일링
업스케일링을 추가하려면 이미지를 자르기 전에 수행해야 합니다. 내 테스트 결과, 마스크를 업스케일링할 필요가 없으며, 자동으로 스케일링됩니다(실제로 마스크를 업스케일링해보니 결과가 더 나빴습니다). 타일드 업스케일링을 테스트했으며 매우 잘 작동했습니다.