Nose Picking

안녕하세요, 이 모델은 illustriousXL이 제대로 이해하지 못한 태그("nose_picking")의 이미지를 생성할 때 도움을 주기 위해 개발되었습니다.

이와 동일한 개념을 학습하려는 LoRA가 있었지만, 이는 SDXL용이었고 Illustrious 버전에서는 결과가 좋지 않았기 때문에, 제가 직접 학습하기로 결정했습니다(정말로, 이 프로젝트를 포기하고 싶은 마음이 얼마나 컸는지 당신은 상상도 못 할 겁니다).

버전을 설명하기 전에, 먼저 LoRA의 핵심 특징을 몇 가지 요약해 드리겠습니다.

• 효과가 있나요? 네, 효과가 있습니다.

• 안정적인가요? 네, 좋은 결과를 얻기 위해 최소한의 조정만 필요합니다.

• 왜 다른 LoRA가 아니라 이걸 사용해야 하나요? 제가 이 글을 쓰고 있는 시점에서, 대체 제품이 전혀 없기 때문입니다.

• 미리보기 및 버전 섹션에 나와 있는 결과를 얻으려면 어떻게 해야 하나요? 이 LoRA에 대한 제 지식을 모두 정리한 '팁' 섹션을 작성해 보려고 합니다. 다만, 갤러리 이미지를 참고로 사용하는 것도 항상 가능합니다(내일 몇 장 더 업로드할 예정입니다).

• 이 모델이 마음에 드는데, 어떻게 도울 수 있나요? 제 작업이 제가 인정하고 싶지 않을 만큼 많은 노력을 요구했지만, 좋아하시면 리뷰를 남기고, 자신이 만든 결과물을 업로드하여 친구들과 공유해 주세요.

대부분의 사용 팁은 버전 섹션에 나와 있지만, 더 많은 트릭, 팁 및 정보를 알고 싶다면 아래 섹션을 참고해 주세요.

Nos3pick (v2)

이 버전은 "nose picking" 태그를 사용한 이미지 생성을 돕기 위해 개발되었습니다. 안타깝게도 illustriousXL은 이 태그를 제대로 이해하지 못해, 종종 다른 제스처(예: "finger_in_mouth")를 생성합니다.

v2는 마침내 이 문제를 해결할 수 있게 되었으며, 제가 원하던 방향으로 완벽히 구현되진 않았지만, 매우 잘 작동합니다.

원래 계획은 활성화 키워드 "nos3pick"만으로 플러그 앤 플레이가 가능한 LoRA를 만드는 것이었습니다... 하지만 첫 번째 시도는 사용하기가 매우 불편했습니다(그래도 SDXL 버전보다는 훨씬 나았습니다). 그래서 제가 테스트한 결과 중 최고의 이미지들을 골라서 새로운 데이터셋을 생성하고, 다시 학습해보았고, 그 결과가 이 버전입니다.

이 LoRA는 거의 플러그 앤 플레이 수준이며, 다음과 같은 이미지를 얻을 수 있습니다:

물론 원하는 표현으로 자유롭게 수정할 수 있지만, 모델이 정확히 원하는 것을 인식하도록 하려면 추가 키워드 "nose pick"를 사용하는 것이 좋습니다.

다시 한 번, LoRA를 사용하지 않았을 때와 사용했을 때의 차이를 보여드리겠습니다:

LoRA 미사용 vs LoRA 사용

보시다시피, LoRA는 명확히 효과를 발휘합니다(이미지가 단순했기 때문에 활성화 태그만으로 추가 조정 없이 바로 사용할 수 있었습니다).

대부분의 테스트는 Hassaku (Illustrious)와 WAI-NSFW-illustrious-SDXL.를 사용하여 진행했습니다.

기술적 세부사항:

이 버전을 학습하기 위해 사용된 데이터셋은 100장의 서로 다른 이미지로 구성되었으며, 약 13에포크, 2회 반복으로 학습되었습니다. (네, 정말 많은 단계입니다만, 제게는 필수적이었습니다.)

저가 자주 사용한 설정은 다음과 같습니다:

Sampler: Euler A
Steps: ~28 ~30
CFG: ~6

최종 결과를 더욱 향상시키기 위해 이미지에 업스케일링과 adetailer를 적용했습니다.

Upscaler: 4x_NMKD-Siax_200k 
steps:15
denoising:0.3

Adetailer:
face
fulleyesdetection

참고: adetailer는 손의 품질 향상을 위해 사용되지 않았습니다. <- 제스처 결과는 100% LoRA의 성과입니다.

(물론 일부 제한된 경우, 업스케일링이 코 안에 손가락이 완전히 들어가지 않거나 코가 제대로 생성되지 않은 이미지를 보정하는 데 도움이 되긴 합니다.)

저가 따랐던 프롬프트 구조는 다음과 같습니다:

{Your prompt}, <lora:Nos3pick:1> nos3pick, nose picking

때로는 출력을 더욱 안정화하기 위해 키워드 "nose picking"을 추가하거나, 이미지가 너무 복잡한 경우(복잡한 표현을 시도할 때는 필수입니다) 추가하는 것이 좋습니다.

따라서 사용 방법은 다음과 같습니다:

활성화 키워드: nos3pick,
[약간 선택적]:    nose picking
LoRA 가중치: ~1 (1이 최적값입니다)

일반적으로 저는 28스텝, CFG 6을 유지한 상태로 다음을 시도합니다:

활성화 키워드만으로 이미지를 생성하여, 두 번째 키워드가 필요한지 확인합니다. 대부분의 경우 선택적 태그 없이도 이미지가 잘 나왔지만, 그렇지 않은 경우에는 두 번째 태그를 추가해보았고, 이는 보통 모든 문제를 해결했습니다. 만약 시드가 특히 나쁘고 이 방법도 효과가 없다면, 추가 키워드를 활성화하고 약간 시드를 변경하여 다시 생성해보았습니다.

(참고: 이 마지막 케이스는 단 한 번만 발생했으며, 그 때의 프롬프트는 완전히 혼란스러운 구조였습니다.)

충분히 테스트했나요? 제 GPU는 이제 토스터로 승진할 준비가 되어 있습니다.

첫 번째 테스트는 해상도 832*1216에서 진행되었습니다:

(각 해상도에 대한 테스트는 전/후 이미지 쌍 2세트로 구성됩니다)

참고: 두 이미지 간의 유일한 차이는 LoRA와 두 활성화 키워드의 존재 여부입니다.

두 번째 테스트(896*1152):

세 번째 테스트(768*1344):

마지막이자 가장 중요한 테스트는 유명 캐릭터와의 호환성 테스트였습니다. 제 캐릭터 LoRA에 포함된 캐릭터들을 사용하여 몇 가지 생성을 수행했습니다:

노트 ("팁 및 트릭"):

"nose_picking" 태그는 필수는 아니지만(대부분의 경우), 이미지의 안정화에 매우 큰 효과가 있으며, "nos3pick" 태그 이후에 긍정적 프롬프트에서 사용하면 부정적인 영향을 줄 수 있습니다. 가능하면 두 태그 모두 사용하세요.

표준 표현은 다소 단조롭지만, 두 태그를 함께 사용하면 자유롭게 개성화할 수 있습니다.

이 LoRA는 adetailer가 필요하지 않지만, 출력 품질을 더욱 향상시키기 위해 사용을 강력히 권장합니다.

다음과 같은 태그는 모두 완벽히 지원됩니다:

open mouth,
open smile,
clenched teeth,
half-closed eyes,
glasgow smile,
smirk,
;d, upper teeth only
등등.

다음 사항들을 기억해 두세요:

• 실내/실외 여부를 명시하지 않거나 배경을 설명하지 않으면, LoRA는 일반적으로 실내 이미지를 생성합니다.

• 긍정적 프롬프트에서 "portrait" 키워드를 사용하지 않는 것이 좋습니다.

• 부정적 프롬프트에서 "close-up" 키워드를 사용하는 것이 좋습니다.

• 이 LoRA는 여성 이미지 데이터셋으로 학습되었기 때문에, 남성 이미지에 사용할 때는 LoRA 가중치를 크게 낮춰야 합니다(브룩에 적용하려면 0.6까지 낮춰야 했습니다).

이 LoRA가 여러분 중 한 분께 도움이 되었으면 합니다. 저는 이 제스처를 앞으로 다시는 다루지 않을 것이므로, 이 버전이 최종 버전임을 확실히 말씀드립니다(적어도 근 미래에는요).

이 모든 내용을 끝까지 읽어주셔서 진심으로 감사드립니다(제가 말이 너무 많다는 걸 알고 있습니다). 이 LoRA를 즐기시고, 다음 모델에서 뵙기를 기대합니다.