bigASP 🧪 v2.5

⚠️이것은 일반적인 SDXL 모델이 아니며 기본적으로 작동하지 않습니다.⚠️

150백만 개의 학습 샘플에 걸쳐 1300만 장 이상의 이미지로 학습된 극도로 실험적인 모델입니다. 이 모델은 SDXL 아키텍처를 기반으로 하며, 향상된 품질과 역동적 범위를 위해 Flow Matching을 사용합니다.

⚠️⚠️⚠️ 경고 ⚠️⚠️⚠️

당신은 ASP 랩에 들어서고 있습니다

bigASP v2.5는 일반 사용을 목적으로 하지 않는纯粹한 실험용 모델입니다.

이 모델은 사용이 본질적으로 어렵습니다.

이 모델을 사용하려는 의지를 계속 유지하고 싶다면, 아래 사용 가이드를 따르세요.

사용법

현재 이 모델은 ComfyUI에서만 작동합니다. 위 이미지에 예제 워크플로우가 포함되어 있으며, 이를 ComfyUI 작업 공간에 드래그하여 로드할 수 있습니다. 만약 이 방법이 작동하지 않는다면, 다음 방법으로 수동으로 워크플로우를 구성할 수 있습니다:

• 기본 SDXL 워크플로우에서 시작하고, 모델에 ModelSamplingSD3 노드를 추가하세요. 예:

  • Load Checkpoint -> ModelSamplingSD3 -> KSampler

• 나머지는 일반적인 SDXL 워크플로우와 동일합니다. 두 개의 clip 인코더(긍정 및 부정용), 빈 잠재 공간, 샘플러 이후의 VAE 디코더 등이 포함됩니다.

해상도

아래는 지원되는 해상도 목록이며, 일반적으로 최고에서 최저 순으로 정렬되어 있습니다. 이 범위 밖의 해상도는 작동할 가능성이 매우 낮습니다.

832x1216
1216x832
832x1152
1152x896
896x1152
1344x768
768x1344
1024x1024
1152x832
1280x768
768x1280
896x1088
1344x704
704x1344
704x1472
960x1088
1088x896
1472x704
960x1024
1088x960
1536x640
1024x960
704x1408
1408x704
1600x640
1728x576
1664x576
640x1536
640x1600
576x1664
576x1728

샘플러 설정

먼저, 일반적인 SDXL 생성과 달리 새로운 매개변수: shift가 있습니다.

Shift는 ModelSamplingSD3 노드의 매개변수로, 노이즈 스케줄을 조정합니다. 1.0으로 설정하면 아무런 효과가 없습니다. 1.0보다 높게 설정하면 샘플러가 스케줄의 고노이즈 영역에서 더 많은 시간을 할애하게 되며, 이는 이미지 구조에 더 많은 노력을 기울이고 세부 사항에는 덜 집중하게 됩니다.

이 모델은 샘플러와 스케줄러에 매우 민감하며, 스케줄의 고노이즈 영역에 약간이라도 더 많은 시간을 할애하는 것이 큰 이점을 제공합니다. 이는 일반적인 SDXL과는 반대이며, 대부분의 스케줄은 그 영역에서의 시간을 줄이도록 설계되어 있습니다.

지금까지 제가 가장 잘 작동하는 설정을 발견한 결과는 다음과 같습니다. 여러분도 직접 조정하고 실험해보시길 권장하지만, 많은 실패를 예상하셔야 합니다.

• Scale=1, Sampler=Euler, Schedule=Beta

• Scale=6, Sampler=Euler, Schedule=Normal

• Scale=3, Sampler=Euler, Schedule=Normal

Euler 외의 샘플러는 거의 성공적이지 못했습니다. UniPC는 작동하지만 일반적으로 성능이 떨어졌습니다. 나머지 대부분은 작동하지 않거나 더 나빴습니다. 다만 제 테스트는 아직 매우 제한적입니다. 다른 샘플러가 작동할 수도 있지만, 이 모델이 특이하기 때문에 잘못 해석될 가능성이 있습니다.

Beta 스케줄은 가장 일반적인 용도로 최적의 선택이며, Scale 매개변수를 조정할 필요가 없습니다. Beta 스케줄은 노이즈 스케줄에서 "S" 자 형태를 형성하며, 전반부는 일반적으로 더 많은 시간을 고노이즈 영역에 할애하고, 후반부는 저노이즈 영역에 더 많은 시간을 할애합니다. 이는 이미지 구조와 세부 사항의 품질 사이에 좋은 균형을 제공합니다.

Normal 스케줄은 일반적으로 Scale 값이 1보다 커야 하며, 3~6 사이에서 가장 잘 작동합니다. 6보다 높게 설정해도 추가적인 이점이 없었습니다. 이 설정은 샘플러가 대부분의 시간을 이미지 구조에 할애하게 하므로, 세부 사항의 품질이 떨어질 수 있습니다.

사용할 설정은 개인의 선호도와 생성하려는 이미지에 따라 달라질 수 있습니다. "이미지 구조 품질"이라고 할 때, 저는 물체의 전체적인 형태와 배치가 정확하게 형성되는 것을 의미합니다. 구조가 제대로 형성되지 않으면, 팔다리가 이상하게 늘어나거나, 추가적인 신체 부위가 생기는 등의 문제가 발생합니다. 근거리 촬영을 한다면 구조는 덜 중요하므로, 세부 사항에 더 많은 시간을 할애하도록 설정을 조정할 수 있습니다. 중거리 또는 원거리 촬영이라면 구조가 점점 더 중요해집니다.

CFG 및 PAG

제 한정된 테스트 결과, CFG 값은 3.0에서 6.0 사이에서 가장 잘 작동했습니다. 항상 그렇듯, CFG는 품질과 다양성 사이의 트레이드오프입니다. 낮은 CFG는 다양한 이미지를 생성하지만 품질이 낮고, 높은 CFG는 반대입니다. 그러나 CFG가 2.0 이하일 때는 품질이 너무 낮아 실용성이 없습니다.

PerturbedAttentionGuidance 노드를 사용하는 것을 강력히 권장합니다. 이 노드는 ModelSamplingSD3 다음, KSampler 이전에 배치해야 합니다. 이 노드에는 scale 매개변수가 있으며, 저는 일반적으로 2.0 근처로 유지합니다. PAG를 사용할 때는 일반적으로 CFG를 낮추는 것이 좋습니다. PAG를 활성화할 때는 CFG를 2.0에서 5.0 사이로 유지합니다.

CFG와 PAG의 정확한 값은 개인의 선호도와 생성하려는 내용에 따라 달라질 수 있습니다. 익숙하지 않다면 권장 범위의 중간값으로 설정한 후, 위아래로 조정하면서 이 매개변수들이 자신의 설정에서 어떻게 작동하는지 익히세요.

PAG는 이미지 품질과 안정성에 큰 도움이 됩니다. 그러나 이미지가 더 강렬하고 대비가 높아지는 경향이 있어, 원하는 스타일에 따라 원치 않을 수 있습니다. 많은 경우와 마찬가지로 균형을 맞추는 것이 중요하며, 필요 없다면 비활성화할 수 있습니다.

스텝

저는 모르겠네요, 28~50? 저는 보통 40 근처에서 유지하지만, 저는 좀 특이한 사람입니다.

부정 프롬프트

지금까지 제가 발견한 가장 좋은 부정 프롬프트는 단순히 "low quality"입니다. 빈 부정 프롬프트도 작동하며, 더 복잡한 부정 프롬프트도 가능합니다. 그러나 "low quality"만으로도 생성 품질이 크게 향상되며, "deformed", "lowres" 등 다른 항목은 제게 큰 도움이 되지 않았습니다.

긍정 프롬프트

이 모델을 충분히 시험해보지 못했기 때문에 여기에 대한 추천 사항이 많지 않습니다. 적어도 이 모델은 다음과 같은 품질 키워드로 학습되었습니다:

• worst quality

• low quality

• normal quality

• high quality

• best quality

• masterpiece quality

이 키워드들은 학습 중 태그 문자열과 캡션에 삽입되었습니다. 모델은 프롬프트 내에서 품질 키워드의 위치에 크게 신경 쓰지 않지만, 시작 부분에 가까울수록 효과가 큽니다. 여러 품질 키워드를 포함할 필요는 없으며, 단 하나만으로 충분합니다. 또한 키워드에 가중치를 줄 필요도 없습니다.

프롬프트에 품질 키워드를 포함할 필요는 전혀 없으며, 완전히 선택 사항입니다.

"masterpiece quality"는 모델이 사진 대신 일러스트/그림을 생성하려는 경향을 유도하므로 사용을 권장하지 않습니다. 대부분의 경우 "high quality"로 충분하며, 저는 대부분의 프롬프트를 "A high quality photograph of"로 시작합니다.

이 모델은 JoyCaption Beta One과 태그 문자열을 통해 다양한 캡션 스타일로 학습되었습니다. 이론적으로는 원하는 어떤 프롬프트 스타일도 사용할 수 있어야 합니다. 그러나 제 한정된 테스트 결과, 자연어 캡션이 전반적으로 가장 우수했으며, 때로는 끝에 태그 문자열을 덧붙여 조정하는 것이 효과적이었습니다. 원하는 챗봇을 사용해 작성할 수 있으며, 제 맞춤형 프롬프트 강화/작성기(https://huggingface.co/spaces/fancyfeast/llama-bigasp-prompt-enhancer)를 사용할 수도 있습니다.

성숙한 주제를 프롬프트로 사용할 때는 챗봇이 신체 부위 및 활동을 설명할 때 사용하는 중립적인 표현을 사용해 보시길 권장합니다. 모델은 줄임말을 이해할 수 있지만, 제 시도에서는 오히려 생성 품질이 약간 저하되었습니다.

이 모델은 다양한 이미지로 학습되었기 때문에 개념 커버리지는 꽤 괜찮지만, Flux 같은 인터넷 규모의 모델 수준은 아닙니다.

랩 (v2.5의 차이점)

이 모델은 v3를 준비하기 위한 부가 실험으로 학습되었습니다. 실험하고 싶었던 다양한 기묘한 요소들이 포함되어 있습니다.

v2와 비교하면:

• 캡션 생성 - 데이터셋은 이전 JoyCaption 버전 대신 JoyCaption Beta One을 사용하여 캡션을 생성했습니다.

• 더 많은 데이터 - v2의 600만 장에서 1300만 장으로 증가했습니다.

• 애니메이션 - 데이터셋에 애니메이션, 퓨리 등 유형의 이미지가 대량 포함되었습니다.

• Flow Matching 목적 - SDXL에 쐐기를 박아 Flow Matching을 덕트 테이프로 붙였습니다.

• 더 많은 학습 - 4000만 개의 학습 샘플에서 1억 5천만 개로 증가했습니다.

• 고정된 텍스트 인코더 - 두 텍스트 인코더 모두 완전히 고정되었습니다.

그러면 왜?

캡션 생성은 데이터 준비를 할 때 Beta One이 완성되었기 때문에, 그냥 교체해보기로 결정했습니다. Beta One의 향상된 성능과 다양성이 이 모델에 프롬프팅의 유연성을 부여할 것이라 기대했습니다. 그러나 텍스트 인코더가 고정되어 있어, 실제로 어떤 영향을 미칠지 확신할 수 없습니다.

더 많은 데이터는 더 좋습니다. 가장 중요한 것은 기존 대체 텍스트를 가진 이미지들을 대량으로 포함시켜, 가능한 한 다양한 개념을 균형 있게 포함시켰다는 점입니다. 이는 학습 중 모델이 접하게 될 이미지와 캡션 스타일의 다양성을 확장하기 위한 것이었습니다.

애니메이션을 포함시킨 이유는 두 가지입니다. 하나는 사진실재형과 비사진실재형 모델을 분리하는 대신 통합된 모델을 갖는 것이 좋기 때문입니다. 큰 모델들(GPT-4o 등)은 두 가지 모달리티를 모두 잘 처리할 수 있으므로, 적어도 가능합니다. 두 번째 이유는 사진실재형 부분이 애니메이션/퓨리 측면의 개념을 계승하기 위함입니다. 후자는 훨씬 더 넓은 콘텐츠와 개념 범위를 가지고 있습니다. 사진실재형 데이터셋은 비교적 제한적이며, 이로 인해 학습된 모델의 창의성이 제한됩니다.

Flow Matching은 Flux와 같은 현대 모델들이 사용하는 목적 함수입니다. 이는 더 높은 품질의 생성을 제공하지만, 고정된 노이즈 스케줄을 동반합니다. SDXL의 노이즈 스케줄은 결함이 있어 다양한 문제를 일으키며, 가장 두드러진 문제는 구조 생성이 부족하다는 점입니다. 이는 SDXL 기반 모델이 팔다리가 중복되거나, 물체가 녹아내리거나, "작은 친구들"이 생기는 주요 원인입니다. 또한 SDXL은 우수한 역동적 범위, 어두운 이미지, 밝은 이미지를 생성하는 데 어려움을 겪습니다. Flow Matching으로 전환하면 이 모든 문제가 해결됩니다.

더 많은 학습은 더 좋습니다. v2(및 v1)의 가장 큰 문제 중 하나는 자주 실패하는 생성을 하는 것이었습니다. 여러 실험을 통해 이는 두 가지 주요 원인, 즉 SDXL의 결함 있는 노이즈 스케줄과 무엇보다도 부족한 학습량 때문임을 알게 되었습니다. PonyXL 같은 모델은 v2보다 훨씬 오래 학습되었습니다. 학습 샘플을 4000만 개에서 1억 5천만 개로 늘림으로써, v2.5는 이제 PonyXL의 학습 수준에 근접하게 되었습니다.

텍스트 인코더를 고정한 것은 사실 이 모델의 의도된 기능이 아니었습니다. 단지 학습 불안정성에 대처하려는 과정에서 자연스럽게 발생한 결과였습니다.

성공한 것과 실패한 것

가장 큰 변화는 Flow Matching이었습니다. 사람들은 SDXL을 v-pred 같은 다른 목적 함수로 전환해보았지만, Flow Matching으로 전환해본 사람은 없었던 것 같습니다. 그런데... 작동합니다. 그리고 저는 이것이 성공이었다고 생각합니다. Flow Matching이 SDXL의 출력 품질에 도움이 되었는지는, 결과가 더 많은 학습과 혼합되어 있어 판단하기 어렵지만, 이미지의 역동적 범위에 대해서는 분명히 도움이 되었습니다. 이는 제가 매우 즐기고 있는 부분입니다. 또한 위에서 언급했듯이, 고정된 노이즈 스케줄은 v2.5가 v2보다 덜 왜곡된 생성을 하는 주요 원인일 가능성이 큽니다.

더 많은 학습도 모델에 분명히 도움이 되었습니다. 이 둘을 합쳐 v2.5의 실패 생성률은 크게 감소했습니다.

더 많은 데이터와 애니메이션/유사 데이터의 추가는 모델의 개념과 창의성을 확장하는 데 도움이 되었습니다. 저는 훨씬 더 다양한 예술적이고 창의적이면서도 여전히 사진실재적인 이미지를 생성할 수 있게 되었습니다.

그러나 v2.5는 실제로 비사진실재 콘텐츠를 생성하는 능력을 얻지 못했습니다. 애니메이션 스타일 생성을 시도한 것은 전부 실패했습니다. 매우 이상합니다.

텍스트 인코더를 고정하는 것은 축복이자 저주입니다. 텍스트 인코더를 고정함으로써, 원래 학습에서 얻은 지식과 강건성을 유지할 수 있습니다. 이는 저와 같은 규모가 부족한 실험에 매우 유용하고 이점이 됩니다.

단점은, 인코더를 튜닝하지 않으면 프롬프트 준수도가 크게 떨어진다는 점입니다. v2.5는 "땀방울"을 보고 실제로 땀이 아니라 구슬의 줄을 생성하는 등 많은 혼동을 겪습니다.

따라서 이는 상호 타협입니다. 텍스트 인코더가 고정되어 있으므로, v2.5는 JoyCaption Beta One의 개선점을 거의 누리지 못합니다.

LORA 학습 및 병합

솔직히 말해, 이 모델을 병합할 수 있는지 저도 잘 모르겠습니다. 이 모델은 일반적인 SDXL과 다른 목적 함수로 학습되었기 때문에, 병합은 이상할 수 있습니다. 그러나 누군가 이 모델을 DMD2와 병합해 성공했다는 보고도 있네요. 그래서 누구나 알 수 있을까요?

기존 LORA를 사용하는 상황도 마찬가지입니다: 아마 작동하지 않을 것이지만, 확실하지는 않습니다.

이 모델의 다른 학습 목적으로 인해 LORA를 학습하는 것도 작동하지 않을 가능성이 큽니다.

나는 분명히 이것을 좋아하지 않지만, 이 모델은 단지 실험용으로 설계되었기 때문에 lora 및 관련 기능 지원은 우선순위가 아니었습니다. v3은 기존 도구를 갖춘 모델을 기반으로 하거나, 어쩌면 다시 커스텀 아키텍처 경로를 밟게 되면 도구와 함께 공개할 것입니다.

지원

이런 어리석은 실험, JoyCaption 및 (아마도) v3을 지원하고 싶다면: https://ko-fi.com/fpgaminer