ComfyUI Multi-Subject Workflows

이것은 ComfyUI용 사용자 지정 워크플로우 모음입니다.

여러 개체를 생성할 수 있으며, 각 개체마다 자체 프롬프트가 있습니다.

이 워크플로우를 제대로 작동시키기 위해 몇 가지 커스텀 노드가 필요합니다. 주로 이러한 설정 작업의 번거로움을 자동화하거나 단순화하기 위함입니다.

필요한 커스텀 노드를 설치하려면, ComfyUI Manager를 설치한 후 Manager로 이동하여 "누락된 커스텀 노드 설치"를 누르는 것이 가장 좋습니다. 여전히 노드가 누락된 경우, 해당 워크플로우의 "이 버전에 대한 정보" 섹션에 나와 있는 종속성 목록을 참조하세요.

최근 업데이트된 워크플로우:

잠재적 커플 포즈 (이전 이름: LoRA 잠재적 커플) - 새 워크플로우이지만 사용자 경험 측면에서는 Region LoRA와 Region LoRA+와 매우 유사합니다. 단, 이제는 보다 최신且 향상된 방법을 사용하여 LoRA 모델을 조건 영역에 직접 연결하여, 각 영역을 별도로 샘플링할 필요 없이 1번의 샘플링으로 모든 작업을 완료할 수 있습니다. 이전에 Region LoRA 또는 Region LoRA+를 사용하셨다면 거의 동일한 결과를 얻으실 수 있습니다. 이 워크플로우는 Region LoRA, Region LoRA+ 및 Interaction OpenPose 워크플로우를 모두 통합해 더 효과적으로 수행할 수 있어, 이들 워크플로우는 더 이상 유지되지 않을 예정입니다.
잠재적 커플 - 현재 ComfyUI 및 커스텀 노드 버전과 호환되도록 업데이트되었습니다. LoRA 지원이 추가되었습니다. 이제 영역 조건 LoRA를 포함하게 되어 이전 이름인 'LoRA 잠재적 커플'을 유지하는 것이 혼란스러워졌기 때문에 이름이 변경되었습니다.

잠재적 커플을 재구성하면서 이 두 개의 활성 워크플로우가 매우 유사하다는 점을 깨달았고, 하나로 통합하는 것도 가능하지만, 경로 처리 논리를 추가하지 않기 위해 최종적으로는 이를 피하기로 결정했습니다. 이로 인해 워크플로우는 더 집중적이게 유지됩니다.

잠재적 커플 포즈 사용 방법에 대한 데모 영상:

잠재적 커플은 업데이트 버전을 개발하는 중이므로 일시적으로 미리보기/사용 중단으로 표시되어 있습니다.

모델 버전에서 다운로드해 주세요. 새로운 버전을 출시할 때마다 "업데이트 알림 푸시"를 삭제하고 다시 생성하기 때문에, 이를 통해 다운로드하면 통계, 리뷰 및 댓글 정보가 삭제될 수 있으므로 주의하세요.

잠재적 커플 vs 잠재적 커플 포즈

이제 두 워크플로우는 매우 유사하며, 오직 잠재적 커플 포즈에서 OpenPose ControlNet을 추가적인 가이드로 사용한다는 점에서만 다릅니다. 처음에는 복잡해 보일 수 있지만, 기본적으로 OpenPose 전처리기를 사용하여 외부 자산을 로드하지 않고도 ControlNet 이미지를 생성하려는 시도가 포함되어 있으며, 이로 인해 시작 부분에 기본 T2I 워크플로우를 추가해야 합니다. 그러나 이는 미리 준비된 포즈 이미지를 불러오는 이미지 로더로 쉽게 교체할 수 있습니다.

포즈 버전은 더 복잡한 시나리오에서 더 정밀한 이미지를 생성할 수 있지만, 동시에 전처리기가 이러한 복잡한 상황에서 포즈 데이터를 정확히 추출하기 어려워지므로, 오히려 보다 간단한 잠재적 커플 방식으로 AI가 가벼운 제약을 받는 경우 더 나은 결과를 우연히 얻을 수 있습니다. 그러나 이는 워크플로우에서 이미지에서 포즈를 기본 방식으로 추출하는 것과 비교한 것이며, 잠재적 커플 포즈는 OpenPose 에디터로 사전에 준비된 포즈를 제공하는 것이 항상 우수한 결과를 줍니다. 저는 이 에디터를 워크플로우에 통합하고 싶었지만, 현재로서는 제대로 유지 관리 중인 에디터가 하나도 없기 때문에 힘들어졌습니다.

워크플로우:

잠재적 커플

이 워크플로우는 이미지의 각 부분에 다른 프롬프트를 적용함으로써 이미지 구성에 대해 더 세밀한 제어를 가능하게 합니다.

제가 테스트한 결과, 일반적으로 Noisy Latent Composition보다 훨씬 나은 성능을 보였습니다.

이것은 ComfyUI에서 매우 표준적인 방식이지만, 커스텀 노드에서 제공하는 몇 가지 편의성(QoL) 기능을 포함하고 있습니다.

Noisy Latent Composition (폐기됨)

각 프롬프트를 분리된 이미지에 대해 몇 번의 단계 (예: 4/20) 동안 생성하여 주요 요소의 기본 윤곽만 생성한 후, 이를 하나로 조합하고 잠재적 커플로 나머지 단계를 진행합니다.

이것도 ComfyUI에서 표준적 방식이며, 커스텀 노드를 통해 몇 가지 편의성(QoL) 기능을 포함하고 있습니다.

캐릭터 상호작용 (잠재적) (폐기됨)

먼저, 실제로 잘 작동하는 기능을 원하신다면 캐릭터 상호작용 (OpenPose) 또는 Region LoRA를 확인해 주세요. 이 워크플로우는 작동하지 않습니다. 아카이브용으로 남겨둡니다.

이것은 ControlNet을 사용하지 않고도 캐릭터 2명이 서로 상호작용하는 모습을 생성해보는 "시도"입니다. 매우 불규칙하고 신뢰할 수 없습니다.

이를 위해 우리는 전체 이미지를 설명하는 하나의 프롬프트를 사용해 첫 번째 몇 단계 (예: 6/30)를 생성합니다. (대상 상호작용, 배경, 두 캐릭터의 공통 특징 포함)

그런 다음, 두 번째 KSampler의 나머지 단계에서 각 캐릭터에 대해 별도의 프롬프트를 추가하는데, 우리가 "기대" 또는 "추정하는" 위치(일반적으로 이미지의 왼쪽 반/오른쪽 반에 약간 겹치는 영역)에 제한됩니다.

솔직히 말해 결과와 일관성은 좋지 않습니다. 시도하고 싶으신 분은 KSampler 전환 시점, 캐릭터 프롬프트 간 겹침 정도, 프롬프트 강도 등의 설정을 조정해보시기 바랍니다. 제가 테스트한 결과, 이 워크플로우로 얻을 수 있었던 가장 가까운 상호작용은 키스였으며, 안아주기 시도는 실패했습니다.

KSampler 전환을 더 높은 단계에서 수행할수록 원하는 상호작용을 더 일관되게 얻을 수 있지만, 캐릭터 프롬프트 효과가 손실됩니다. 저는 전체 단계의 약 20-35% 범위 내에서 조절하고 있습니다. 이 손실을 약간 보완하기 위해 캐릭터 프롬프트 강도를 늘릴 수 있습니다.

잠재적 커플 포즈

다음 섹션인 캐릭터 상호작용 (OpenPose) 및 Region LoRA 앞에 올 필요가 있지만, 설명이 이미 길어졌으며, 위에 더 두드러지게 위치해 있습니다. 하위 워크플로우들은 이미 폐기되었습니다.

이 워크플로우는 아래에 설명된 방법과 매우 유사하며, 그곳에서 제시된 이미지들도 여기에도 적용됩니다. 주요 차이는 더 새로운, 훨씬 우수한 LoRA 핸드가 Regional Sampling을 대체하여, 전체 이미지를 한 번에 샘플링할 수 있게 되었다는 점입니다.

캐릭터 상호작용 (OpenPose) (폐기됨)

또 다른 캐릭터 상호작용 생성 방식이며, 이번에는 실제로 작동하며 매우 일관적으로 작동합니다. 이를 위해 단순히 ControlNet OpenPose를 함께 사용하는 잠재적 구성(잠재적 조합)을 실행하면 됩니다. 사용 편의성을 높이기 위해 OpenPose 이미지를 미리 생성할 수 있으므로, 사용자가 직접 사전에 준비된 이미지를 입력할 필요가 없습니다. 따라서 일반 생성보다 복잡하지 않습니다. ComfyUI에 워크플로우를 불러온 후 그 안에 포함된 설명을 통해 지침을 확인할 수 있습니다.

기술적으로 보면, 단순히 OpenPose를 조건부에 적용하는 것보다 다소 더 복잡합니다. 왜냐하면 전체적으로 3개 이상의 조건 (배경 및 두 주체)을 다루기 때문입니다. 세 가지 모두에 ControlNet을 적용하면, 배경은 OpenPose 이미지가 배경 조건과 동일한 크기로 정확히 적용되지만, 주체들은 OpenPose 이미지가 그들의 크기에 맞게 압축되어 각각 다른 크기를 가지며, 결과적으로 세 개의 정렬되지 않은 ControlNet 이미지가 생깁니다. 따라서 OpenPose 이미지는 배경에만 변경되지 않은 채 적용할 수 있습니다. 그러나 여기서 멈추면 주체에 대한 ControlNet 가이드가 없어지고, 최종 결과는 OpenPose 이미지와 전혀 무관해집니다. 그래서 이제, 주체 영역과 대응하는 OpenPose 영역을 자르고, 각 주체 조건에 적용한 후 최종 조건으로 병합합니다. 이 과정을 거쳐야만 최종 이미지를 생성할 수 있습니다.

다음 이미지는 최종 조건을 보여줍니다:

btw 워크플로우가 자체적으로 비슷한 이미지도 생성해 줍니다 :)

배경 조건은 전체 이미지를 커버하며 포즈 데이터의 전부를 포함합니다.

주체 1은 초록색 영역으로 나타내며, 해당 영역 내부의 포즈 자르기 포함합니다.

주체 2는 파란색 영역으로 나타내며, 해당 영역 내부의 포즈 자르기 포함합니다.

이미지는 먼저 생성되고, 그 후 포즈 데이터를 추출하여 자르고, 조건부에 적용하여 적절한 이미지를 생성합니다. 이로 인해 특히 사전에 OpenPose 이미지를 준비할 필요가 없습니다.

그리고 최종 결과는 다음과 같습니다:

이 결과는 확대 이후 2차 패스, 얼굴 복원, 그리고 마지막에 추가 확대가 모두 포함되어 있으며, 워크플로우 내부에 포함되어 있습니다.

또한, 조건 영역을 미리보기하는 기능도 제공됩니다 (첫 번째 이미지 참조). 이상적으로는 정식 이미지 생성 전에 이루어져야 하지만, 현재 ComfyUI에서는 이를 제어하는 수단이 아직 구현되지 않아 때때로 워크플로우의 마지막 단계가 되기도 합니다. 안타깝지만, 지금은 이에 대한 조치를 취할 수 없습니다.

추가적인 사용 관련 세부 정보는 워크플로우 내부 설명에 자세히 나와 있습니다.

Region LoRA / Region LoRA PLUS

이름에서 알 수 있듯이, 이 워크플로우를 사용하면 이미지의 지정된 영역에 LoRA 모델을 적용할 수 있습니다.

예를 들어 두 개의 캐릭터를 각기 다른 LoRA와 다른 예술 스타일로 생성하거나, 하나의 캐릭터에 얼굴에는 한 세트의 LoRA를, 몸체에는 다른 세트를 적용할 수 있습니다 (코스프레!)

Region LoRA와 Region LoRA PLUS의 차이점은 무엇인가요?

Region LoRA는 최대 2개의 영역만 지원됩니다. 단일 마스크를 그립니다. 마스크 영역은 영역 1, 나머지 영역은 영역 2입니다.

Region LoRA PLUS는 원하는 만큼의 영역을 만들 수 있지만, 각 영역마다 별도로 마스크를 그려야 합니다 (Interaction OpenPose와 유사합니다).

따라서 두 개의 영역만 필요하다면 기본 버전이 더 간단하고 영역이 완벽히 정렬됨을 보장합니다.

또한 현재 PLUS 버전은 확대 후 영역 샘플링을 사용할 수 없습니다. 해당 기능을 위한 중요한 노드가 누락되어 있고, 대안을 만들면 매우 복잡해지기 때문입니다.

어떻게 작동할까요?

이 비밀은 ltdr.data의 Impact Pack와 Inspire Pack에서 제공하는 Regional Sampling 노드에 있습니다. 이 노드는 마스크 영역을 기반으로 다양한 샘플러를 사용해 이미지의 부분을 생성할 수 있게 합니다. 즉, 마스크된 영역과 아닌 영역에 서로 다른 LoRA 모델을 적용하거나, 마스크 영역과 아닌 영역에 서로 다른 체크포인트를 사용할 수 있습니다. 이것이 핵심이지만, 단순히 이 노드를 사용한다고 해서 끝나는 것은 아닙니다. 전체 워크플로우는 다음과 같습니다.

먼저, 현실적인 체크포인트를 사용해 원하는 포즈의 이미지를 생성하고 ControlNet OpenPose 전처리기를 통과시킵니다:

다음 단계에서는 Preview Bridge 노드 (Impact Pack의 또 다른 노드)를 사용합니다. 이 노드는 미리보기 이미지 노드와 이미지 및 마스크 출력을 가지며, 마스크를 직접 그리는 것이 가능합니다. 위 이미지는 여기에 도달합니다. 이미지 생성을 일시 중지하고 이 이미지를 MaskEditor에서 열어 캐릭터 중 하나 위에 마스크를 그리는 것입니다:

다음으로, 마스크 경계선에 따라 ControlNet 이미지를 자르고 영역의 조건에 적용합니다. ControlNet 덕분에 이미지의 시점은 일관성 있게 유지되며, 서로 다른 영역의 캐릭터 간 상호작용을 가능하게 합니다. 이러한 영역 마스크는 깨끗한 LoRA 분리에 책임이 있는 샘플링 영역을 결정합니다.