XL 모델용 지역 프롬프트 워크플로우

이것은 제가 과거 또는 최근에 사용해온 일부 워크플로우의 조합입니다.

지역 프롬프트의 대부분은 원래 이 워크플로우에 있었습니다.

모든 테스트와 도움에 대해 @zml_w에게 큰 감사를 드립니다.

@LevPat의 V2용 업스케일 방법
/model/1994653/custom-upscale-flow

사용자 가이드

https://civitai.com/articles/18257

V2 밀집 확산 및 어텐션 쌍용

다른 지역 프롬프트 방법으로 두 개의 별도 워크플로우를 만들었습니다. 원하시면 아카이브에서 시도해보세요.

밀집 확산

"텐서 a(924)의 크기는 단일이 아닌 차원 3에서 텐서 b(308)의 크기와 일치해야 합니다"라는 오류는

여전히 밀집 확산에서 발생합니다. 하지만 이제 이 오류가 발생하는 이유를 100% 이해했으므로, 이를 피하는 방법을 자세히 설명드리겠습니다.

먼저, 거의 모든 내용을 긍정적 프롬프트에 포함할 수 있습니다. 왼쪽 캐릭터에 많은 세부 정보나 행동을 넣고 두 번째 캐릭터에는 거의 아무것도 넣지 않으면 이 오류가 발생하지 않습니다.
이 오류가 발생하는 유일한 경우는 긍정적 프롬프트와 부정적 프롬프트 간의 차이입니다.

그럼 왜 이 오류가 발생할까요? 거의 모든 경우 임베딩과 관련이 있습니다. 토큰 수와 밀집 확산의 작동 방식 때문입니다. 토큰 크기가 거의 동일해야 하며, Lazyhand, Lazyneg 등의 임베딩을 사용하면 많은 토큰(정확히는 토큰 조각)을 사용합니다.

그러므로 이를 피하는 방법은 다음과 같습니다.

임베딩을 전혀 사용하지 마세요. 제가 워크플로우에 좋은(제가 생각하기에) 품질의 프롬프트를 추가했습니다.
임베딩을 사용하려면 긍정적 및 부정적 프롬프트 간에 균형을 맞춰야 합니다. 예를 들어, 부정적 프롬프트에 Lazyhand + Lazyneg를 사용하면, 긍정적 프롬프트에도 최소 하나 이상의 임베딩을 추가하여 토큰 조각의 크기를 동일하게 만들어야 합니다.

이 때문에 저자는 (저와 GPT가 만든) 부정적 프롬프트를 정규화하는 사용자 정의 노드를 추가했습니다. 이를 켜거나 끌 수 있으며, 아카이브에 비교용 사진을 첨부했습니다.

이 방법이 마음에 들지 않거나 불편하다면, 다른 노드를 사용하는 '어텐션 쌍용' 워크플로우도 만들었습니다.

어텐션 쌍용

어텐션 쌍용을 사용하면 이 오류는 절대 발생하지 않습니다. 그렇다면 왜 밀집 확산을 버리고 어텐션 쌍용만 사용하지 않을까요?
어텐션 쌍용은 잘 작동하며 좋은 결과를 낼 수 있지만, 제 테스트에서는 두 가지 주요 단점이 있었습니다.
첫째, LoRA가 적용되는 방식이 다릅니다. 밀집 확산이 모델과 LoRA 간의 융합이 더 나은 것처럼 보입니다.
둘째, 상호작용이 더 어렵습니다. 저는 이 방식을 광범위하게 사용하지 않았지만, 생성된 이미지들은 프롬프트 의존성이 약한 경향이 있었습니다.

이 두 방식 모두에 필요한 모든 노드는 다음과 같습니다.

밀집 확산용

부정적 정규화를 위한 작은 사용자 정의 노드는 아카이브에 포함되어 있으며, custom nodes 폴더에 넣기만 하면 됩니다. 별도의 의존성은 필요 없습니다.

어텐션 쌍용용

위의 모든 것 +
https://github.com/BlenderNeko/ComfyUI_ADV_CLIP_emb
https://github.com/laksjdjf/cgem156-ComfyUI

cgem156의 FAILED IMPORT 문제를 겪는 경우 다음 수정 방법을 시도해보세요:
https://github.com/laksjdjf/cgem156-ComfyUI/issues/17#issuecomment-2918745574
이 방법은 ComfyUI 데스크탑 앱에서 저에게 잘 작동했습니다.