bigASP 🐍 v2.0

사진처럼 사실적인 SDXL 모델로, 6백만 장 이상의 고화질 사진을 기반으로 4천만 개의 학습 샘플로 세부 조정되었습니다. 각 사진은 JoyCaption을 사용해 캡션화되었고, JoyTag을 사용해 태그가 부여되었습니다. 이를 통해 bigASP 🐍은 짧고 단순한 프롬프트부터 길고 상세한 프롬프트까지 광범위한 개념과 명령을 이해하면서도 고품질의 사진적 결과물을 생성할 수 있게 되었습니다.

이제 이는 bigASP 🐍의 두 번째 버전입니다. 커뮤니티가 이 모델을 어떻게 활용할지, 그리고 그 강점과 약점을 어떻게 파악할지 기대됩니다. 생성 결과와 피드백을 공유해 주세요!

특징

• 자연어 및 태그 기반 프롬프팅 모두 지원: 버전 2는 booru 스타일 태그뿐만 아니라 자연어 프롬프트, 또는 두 가지를 조합한 프롬프트도 이해합니다!

• SFW 및 NSFW 지원: 이 버전의 bigASP 🐍는 2백만 장의 SFW 이미지와 4백만 장의 NSFW 이미지를 포함합니다. 멋지게 입을까요? 아니면 멋지게 벗을까요? 당신이 결정하세요.

• 다양성: bigASP 🐍는 의도적으로 다양한 데이터셋으로 학습되어, 아름다운 인류의 모든 색상, 모든 형태와 크기를 생성할 수 있습니다. _동일한 얼굴_은 더 이상 필요 없어요!

• 조화 비율 버킷링: 풍경, 정사각형, 세로 비율 등, bigASP 🐍는 모든 형태에 대비되어 있습니다.

• 고품질 학습 데이터: 학습 데이터의 대부분은 고화질 전문가 수준의 사진으로, SDXL의 기본 해상도를 훨씬 초과하는 해상도를 가지고 있으며, 원본 품질로 다운로드되어 추가 압축이 전혀 없습니다. bigASP 🐍는 단 하나의 픽셀도 놓치지 않습니다.

• 긴 프롬프트 지원: 프롬프트에서 최대 225 토큰을 지원하도록 학습되었습니다. 어쩌면 그 이름처럼 BIG asp이니까요.

• (옵션) 미학/품질 점수: 버전 1과 마찬가지로, 이 모델은 품질 점수를 이해하여 생성 품질을 향상시킵니다. 예를 들어, 프롬프트 시작에 score_7_up을 추가하면 생성 품질을 지도할 수 있습니다. 자세한 내용은 아래를 참고하세요.

버전 2의 주요 업데이트

• 자연어 프롬프팅 추가: 모델 제어 능력이 크게 향상되었고, 버전 1에 대한 많은 불만이 해결되었으며, 모델이 이제 훨씬 더 많은 개념을 이해할 수 있게 되었습니다.

• 이미지 수가 3배 이상 증가: 버전 2는 670만 장의 이미지를 사용했고, 버전 1은 150만 장이었습니다.

• SFW 지원: 데이터셋에 2백만 장의 SFW 이미지를 추가했습니다. 이는 bigASP의 활용도를 높이기 위함이자, 이해 범위를 확장하기 위함입니다. 제 테스트 결과, bigASP는 풍경 사진에서 매우 뛰어난 성능을 보입니다.

• 더 긴 학습: 버전 1은 약간 학습이 부족해 보였습니다. 버전 2는 4천만 개의 샘플로 학습되었고, 버전 1은 3천만 개였습니다. 이로 인해 모델이 훨씬 더 단단해졌습니다.

• 점수 태그가 이제 선택 사항입니다!: 학습 중 무작위로 점수 태그가 삭제되었기 때문에, 점수 태그를 명시하지 않아도 모델은 정상적으로 작동합니다.

• 품질 평가 모델 업데이트: 이미지 평가에 사용되는 모델을 업데이트하여 성능을 약간 향상시키고, 새로운 데이터 범위를 처리할 수 있도록 했습니다. 제 경험상, "좋은" 이미지의 범위가 훨씬 넓어졌으며, 이제 score_5부터 시작됩니다. 따라서 프롬프트에 지정할 점수를 더 자유롭게 선택할 수 있고, 이전보다 더 다양한 결과를 얻을 수 있습니다.

• 남성 중심 데이터 증가: 많은 분들이 놀라실지도 모르지만, 세계 인구의 거의 50%가 남성입니다! 우리 모델에서 남성의 표현이 너무 부족한 게 좀 이상하죠! 버전 2는 남성형을 중심으로 한 이미지를 상당히 추가했습니다. 아직 더 많은 개선이 필요하지만, 버전 1보다는 훨씬 나아졌습니다.

권장 설정

샘플러: DPM++ 2M SDE 또는 DPM++ 3M SDE

스케줄: Kerras 또는 Exponential. ⚠️ 경고 ⚠️ Normal 스케줄은 품질이 낮은 결과를 초래합니다.

스텝: 40

CFG: 2.0 또는 3.0

Perturbed Attention Guidance(최소 ComfyUI에서 사용 가능)는 때때로 도움이 될 수 있으므로 시도해보시기 바랍니다. 특히 얼굴과 복잡한 장면에서 유용합니다. 그러나 과도하게 사용하면 이미지가 망가질 수 있으므로, PAG를 사용할 때는 CFG를 낮추세요.

⚠️ 경고 ⚠️ 버전 1에서 이전한 경우, 이 버전은 훨씬 낮은 CFG 설정을 권장합니다.

지원되는 해상도(참고용 이미지 수):

832x1216: 2229287
1216x832: 2179902
832x1152: 762149
1152x896: 430643
896x1152: 198820
1344x768: 185089
768x1344: 145989
1024x1024: 102374
1152x832: 70110
1280x768: 58728
768x1280: 42345
896x1088: 40613
1344x704: 31708
704x1344: 31163
704x1472: 27365
960x1088: 26303
1088x896: 24592
1472x704: 17991
960x1024: 17886
1088x960: 17229
1536x640: 16485
1024x960: 15745
704x1408: 14188
1408x704: 12204
1600x640: 4835
1728x576: 4718
1664x576: 2999
640x1536: 1827
640x1600: 635
576x1664: 456
576x1728: 335

프롬프팅

bigASP 🐍 버전 2는 상세한 자연어 프롬프트와 booru 태그 프롬프트 모두를 지원하도록 학습되었습니다. 즉, 아래와 같은 모든 프롬프트 스타일이 작동합니다:

A photograph of a cute puppy running through a field of flowers with the sun shining brightly in the background. Captured with depth of field to enhance the focus on the subject.

Photo of a cute puppy, running through a field of flowers, bright sun in background, depth of field

photo (medium), cute puppy, running, field of flowers, bright sun, sun in background, depth_of_field

과거에 bigASP v1을 사용하셨다면, 위의 모든 태그는 여전히 작동합니다! 이제 태그만이 아니라 자연어를 추가하여 원하는 것을 보다 자세히 설명할 수 있습니다.

bigASP가 잘 이해할 수 있는 프롬프트 작성법을 알고 싶다면, 좋아하는 이미지 몇 장을 JoyCaption에 입력해보세요: https://huggingface.co/spaces/fancyfeast/joy-caption-alpha-two bigASP v2는 JoyCaption(Alpha Two)을 사용해 짧은, 중간, 긴 등 다양한 캡션을 생성하도록 학습되었으므로, JoyCaption의 모든 설정이 잘 작동합니다.

간혹 갤러리의 이미지 메타데이터를 확인해보는 것도 도움이 됩니다. 가능한 한 항상 제 이미지는 ComfyUI 워크플로우와 함께 업로드합니다.

마지막으로, 점수 지정. bigASP 🐍 v2는 버전 1과 마찬가지로 PonyDiffusion의 뛰어난 작업에서 영감을 받아 "점수 태그"로 학습되었습니다. 즉, score_8_up과 같은 태그를 통해 원하는 이미지 품질을 지정할 수 있습니다. bigASP의 데이터셋에 있는 모든 이미지는 0~9의 점수로 평가되었으며, 0은 학습에서 완전히 제외되었고, 9는 최고의 품질을 의미합니다. 따라서 프롬프트의 _시작부분_에 score_7_up을 입력하면, bigASP에게 "품질이 7 이상인 이미지를 원한다"고 알려주는 것입니다.

버전 1과 달리, 이 버전은 프롬프트에 점수 태그를 반드시 명시할 필요가 없습니다. 점수 태그를 지정하지 않으면, bigASP는 다양한 품질 범위 내에서 자유롭게 생성할 수 있으므로, 좋고 나쁜 결과 둘 다 기대해야 합니다. 하지만 프롬프트의 _시작부분_에 어떤 종류의 점수 태그라도 추가하는 것을 강력히 권장합니다. 저는 보통 score_7_up을 사용하여 일반적으로 좋은 품질을 유도하면서도 bigASP에 충분한 자유를 주고 있습니다. 최고의 결과만 원하면 score_9를, 더 다양한 결과를 원하면 score_5_up을 사용하세요. 이해가 됐길 바랍니다! 원한다면 여러 점수 태그를 동시에 지정할 수 있지만, 일반적으로 하나면 충분합니다. 또한 부정 프롬프트에 낮은 점수를 입력해보세요. 예: score_1, score_2, score_3.

참고: 점수 태그를 사용한다면, 프롬프트의 시작부분에 반드시 배치해야 합니다.

참고: booru 스타일 태그를 프롬프트에 사용할 경우, 일부 태그는 괄호를 포함합니다. 예: photo (medium). 그리고 많은 UI는 괄호를 프롬프트 가중치로 사용합니다! 따라서 ComfyUI나 Auto1111와 같은 도구를 사용할 경우, 괄호를 이스케이프해야 합니다: photo \(medium\).

예시 프롬프트

SFW, chill sunset over a calm lake with a distant mountain range, soft clouds, and a lone sailboat.

score_7_up, Photo of a woman with blonde hair, red lipstick, and a black necklace, sitting on a bed, masturbating, watermark

score_8, A vibrant photo of a tropical beach scene, taken on a bright sunny day. The foreground features a wooden railing and lush green grass, with a large, twisted palm tree in the center-right. The background showcases a sandy beach with turquoise waters and a clear blue sky. The palm tree has long, spiky leaves that contrast with the smooth, curved trunk. The overall scene is peaceful and inviting, with a sense of warmth and relaxation.

score_8_up, A captivating and surreal photograph of a cafe with neon lights shining down on a handsome man standing behind the counter. The man is wearing an apron and smiling warmly at the camera. The lighting is warm and glowing, with soft shadows adding depth and detail to the man. Highly detailed skin textures, muscular, cup of coffee, medium wide shot, taken with a Canon EOS.

score_7_up, photo \(medium\), 1girl, spread legs, small breasts, puffy nipples, cumshot, shocked

score_7_up, photo (medium), long hair, standing, thighhighs, reddit, 1girl, r/asstastic, kitchen, dark skin

score_8_up, photo \(medium\), black shirt, pussy, long hair, spread legs, thighhighs, miniskirt, outside

Photo of a blue 1960s Mercedes-Benz car, close-up, headlight, chrome accents, Arabic text on license plate, low quality

프롬프팅 (고급)

버전 1과 마찬가지로, 이 버전의 bigASP은 JoyTag가 사용하는 모든 태그를 이해합니다. 버전 2 학습 과정에서 사용된 태그 리스트 및 각 태그의 등장 횟수를 참고하려면 다음을 확인하세요: https://gist.github.com/fpgaminer/0243de0d232a90dcae5e2f47d844f9bb

물론 버전 2는 JoyCaption 덕분에 자연어 프롬프팅도 이해합니다. 즉, 이 버전의 bigASP 🐍는 많은 새로운 개념을 이해할 수 있게 되었습니다. 많은 사용자들이 버전 1의 태그 목록을 모델의 기능 탐색에 유용하게 사용했습니다. 자연어 프롬프팅의 경우, 유사한 접근법은 학습 중에 모델이 본 캡션 집합에 대해 "n-gram" 분석을 수행하는 것입니다. 기본적으로 이는 일반적인 "단어 조합"을 찾는 것입니다. 아래는 각 텍스트 조각의 등장 횟수를 포함한 목록입니다: https://gist.github.com/fpgaminer/26f4da885cc61bede13b3779b81ba300

n-gram 리스트의 첫 번째 열은 고려된 단어 수(1에서 7까지)이며, 두 번째 열은 텍스트, 세 번째 열은 특정 단어 조합이 등장한 횟수입니다(한 캡션 안에 여러 번 등장할 수 있으므로 이미지 수보다 더 높을 수 있습니다). 여기서 "명사구"는 하나의 단어로 간주됩니다. 예: "her right side", "his body", "water droplets". 이런 표현들은 모두 하나의 "단어"로 간주됩니다. 따라서 위 목록에 "tattoo on her right side"가 3단어로 표시되어도 놀라지 마세요. 또한, 이 분석을 위해 텍스트를 처리하는 과정에서 일부 문장부호가 누락되었을 수 있습니다.

다양한 출처(예: reddit, flickr, unsplash, instagram 등)나 특정 서브레딧(버전 1과 유사)도 언급 가능합니다.

NSFW, SFW, Suggestive 같은 태그는 생성 콘텐츠의 방향을 지도하는 데 도움이 됩니다.

일반적으로 bigASP 🐍는 프롬프트에 명시하지 않는 한 워터마크를 생성하지 않습니다. 트리거 단어는 우연히도 watermark입니다. 부정 프롬프트에 watermark를 추가하면 워터마크를 더 효과적으로 방지할 수 있습니다. 하지만 제 테스트에서는 대부분의 프롬프트에서 워터마크는 매우 드물었습니다.

bigASP 🐍는 The person is holding a sign with the text "Happy Halloween" on it.와 같은 언어로 지정된 텍스트를 생성할 수 있습니다. 텍스트를 다양한 방식으로 요청할 수 있지만, 반드시 이미지에 나타나길 원하는 텍스트는 따옴표로 묶어주세요. 하지만 이건 SDXL이므로, 텍스트를 잘 생성하려면 많은 생성을 반복해야 할 것입니다. 그리고 이미지가 복잡할수록 SDXL은 텍스트 생성 성능이 떨어집니다. 그러나 이는 이 오래된 모델에게 재미있는 트릭입니다!

일부 카메라 브랜드 및 모델, 초점 거리, 조리개 값 등도 모델이 이해합니다. 그 효과는 불확실합니다. DSLR 같은 태그를 사용하면 모델을 "전문가 수준"의 사진으로 유도할 수 있지만, 주의하세요. 카메라가 이미지 내부에 나타날 수도 있습니다!

특징 목록에서 언급했듯이, bigASP 🐍는 긴 프롬프트를 지원하도록 학습되었습니다. 이는 NovelAI가 발명하고 공개한 기법이며, 프롬프트가 CLIP의 최대 75 토큰을 초과할 때 대부분의 생성 UI에서 사용하는 기법입니다. 데이터셋에는 다양한 길이의 캡션이 균형 있게 포함되어 있으므로, 몇 개 토큰에서 최대 225 토큰까지 모든 길이의 프롬프트가 잘 작동합니다. 단, 이 기법의 일반적인 제한 사항은 여전히 적용됩니다.

제한 사항

• 오프셋 노이즈 없음: 죄송합니다. 다음 버전에서 가능할지 모르겠습니다.

• 애니메이션 없음: 이 모델은 완전히 사진 모델입니다. 향후 버전에서 애니메이션을 추가하여 모델의 개념을 확장할 수도 있습니다.

• 얼굴/손/발: 아시겠죠.

• VAE 문제: SDXL의 VAE는 별로입니다. 모두 알고 있습니다. 하지만 사진에서 그 약점이 특히 두드러집니다. bigASP는 높은 수준의 디테일을 생성하기 때문에 VAE의 약점이 더 잘 드러납니다. 저도 이 문제를 해결할 수 있는 방법이 없습니다.

• 기적 없음: 이는 SDXL이므로 일반적인 결과를 기대하세요. 좋은 결과와 평범한 결과의 비율은 1:24이며, 신체적 공포 요소가 많습니다. 일부 프롬프트는 이유 없이 잘 작동하고, 어떤 프롬프트는 어떻게 조정해도 악몽 같은 결과를 낳습니다. 이 버전의 bigASP에서는 여러 캐릭터를 처리하는 것이 v1보다 나으나 여전히 불안정합니다. 이러한 오래된 아키텍처의 현실입니다. 저는 현재 bigASP가 이 환경에서 할 수 있는 것의 한계에 근접해 있다고 생각합니다.

학습 세부 사항 (버전 2)

버전 2를 학습시키기 위한 모든 세부 사항은 여기에 기록되어 있습니다: https://civitai.com/articles/8423

학습 세부 사항 (버전 1)

big SDXL 미세 조정의 학습 방법에 대한 상세 정보는 극히 부족합니다. 따라서 커뮤니티를 돕기 위해 제 모든 세부 정보를 여기에 공유합니다.

bigASP는 약 1,440,000장의 사진으로 학습되었으며, 모든 이미지는 해당 비율 버킷보다 해상도가 더 큽니다. 각 이미지는 디스크 기준 약 1MB이며, 백만 장당 데이터베이스 크기는 약 1TB입니다.

모든 이미지는 다음과 같은 프로세스를 거칩니다: 품질 모델을 사용해 0에서 9까지 점수를 매기고, JoyTag를 사용해 태그를 달고, OWLv2를 사용해 "watermark"라는 프롬프트로 이미지의 워터마크를 감지합니다. OWLv2는 미세 조정된 비전 모델보다 더 나은 성능을 보였으며, 워터마크에 대한 바운딩 박스를 제공한다는 추가 이점이 있습니다. 정확도는 약 92%입니다. 이 버전에서는 수행하지 않았지만, 향후 바운딩 박스를 사용해 학습 중에 워터마크를 SD에서 숨기는 “loss masking”을 구현할 수 있습니다. 현재는 워터마크가 감지되면 학습 프롬프트에 "watermark" 태그를 포함합니다.

점수가 0인 이미지는 완전히 제거됩니다. 저는 특정 이미지를 이 점수 범주로 낮추기 위해 점수 모델을 특별히 학습시켰습니다. 데이터셋에 얼마나 많은 쓰레기 이미지가 들어오는지 놀랄지도 모릅니다. 그 어떤 흔적도 학습에 심각한 영향을 줍니다. 썸네일, 비디오 프리뷰 이미지, 광고 등이 그렇습니다.

bigASP는 SDXL 논문에서 정의한 것과 동일한 비율 버킷을 사용합니다. 모든 이미지는 해당 버킷에 가장 잘 맞도록 배치되며, 축소 후 어떤 차원도 버킷 크기보다 작아지지 않도록 합니다. 따라서 축소 후 이미지는 무작위로 자릅니다. 원본 해상도와 자르기 정보는 VAE로 인코딩된 이미지와 함께 디스크에 기록되어 SDXL의 조건부 입력으로 사용되며, 마지막으로 잠재 공간은 gzip으로 압축됩니다. gzip을 사용하면 약 30%의 저장 공간 절약을 경험할 수 있었고, 백만 장당 학습 데이터셋 크기는 약 100GB로 줄었습니다.

학습은 diffusers 라이브러리를 기반으로 한 커스텀 학습 스크립트를 사용하여 수행되었습니다. 저는 모든 내부 메커니즘을 완전히 이해하고 원하는 모든 트윅을 구현하기 위해 커스텀 스크립트를 사용했습니다. 게다가 SD1.5 학습용으로 이미 스크립트를 가지고 있었기 때문에 큰 도약은 아니었습니다. 단점은 몇 차례 버그가 있는 실행 후 발생하는 미세한 문제를 디버깅하는 데 많은 시간이 소요되었다는 점입니다. 이러한 실수는 모두 비쌌습니다. 하지만 저에게는 실수가 학습의 비용입니다.

저는 학습 프롬프트가 실제 사용 시 최종 모델의 성능에 매우 중요하다고 생각합니다. 커스텀 Dataset 클래스는 학습 프롬프트 생성에 있어 많은 작업을 담당합니다. 사람들은 짧은 프롬프트에서 긴 프롬프트, 다양한 쉼표, 밑줄, 오타 등을 포함한 프롬프트까지 다양하게 사용합니다.

저는 프롬프트를 포함한 대규모 AI 이미지 샘플을 추출해 일반 사용자 프롬프트의 통계를 분석했습니다. 프롬프트 분포는 대체로 정규 분포를 따르며, 평균은 32개 태그, 표준편차는 19.8이었습니다. 따라서 제 Dataset 클래스는 이 분포를 반영합니다. 각 학습 샘플마다 이 분포에서 무작위 정수를 선택해 사용할 태그 수를 결정합니다. 그런 다음 이미지 태그를 섞고 해당 숫자만큼 자릅니다.

이렇게 하면 학습 중 모델은 "1girl" 같은 짧은 프롬프트부터 224토큰의 긴 프롬프트까지 모두 접하게 되며, 사용자에게 세부 정보를 채워주는 방법을 배우게 됩니다.

watermark와 같은 특정 태그는 우선순위가 주어져 항상 포함되므로, 모델은 이러한 태그를 강하게 학습합니다.

danbooru의 태그 별칭 목록을 사용해 태그를 동의어로 무작위로 변형하여 bigASP가 사람들이 개념을 표현하는 다양한 방식을 이해할 수 있도록 합니다. 아마도요.

물론 점수 태그도 있습니다. Pony XL과 마찬가지로, bigASP는 학습 샘플의 점수를 "score_X" 및 "score_X_up" 형태의 태그 범위로 인코딩합니다. 그러나 Pony XL이 겪은 문제를 피하기 위해 학습 프롬프트에 포함되는 점수 태그 수는 무작위로 선택됩니다. 이렇게 하면 모델이 정확히 작동하려면 "score_8, score_7, score_6" 등의 모든 태그가 반드시 필요하다고 배우지 않습니다. 이미 단일 또는 몇 개의 점수 태그만 존재하는 상황에 익숙해져 있습니다.

10%의 경우 프롬프트는 완전히 제거되어 빈 문자열로 설정됩니다. UCG, 그건 아시죠. 참고!!! Stability의 학습 스크립트와 HuggingFace 스크립트 모두 프롬프트를 빈 문자열로 설정하는 대신 임베딩 공간에서 "zero"로 설정하는 것을 확인했습니다. 이는 SD1.5 학습 방식과 다르며, 대부분의 SD 인터페이스가 SD를 추론할 때 사용하는 방식과도 다릅니다. 제 이론은, SDXL이 "zero"를 사용하여 프롬프트를 제거하는 방식으로 학습되면 실제 추론 시 빈 프롬프트를 사용할 때 모델이 '평균 이미지'에서 벗어나는 것이 아니라 학습 중 부가 설명이 없었던 이미지들만에서 벗어나도록 유도된다는 점에서 심각한 문제가 될 수 있다는 것입니다. 이건 바람직하지 않아 보입니다. 따라서 bigASP에서는 빈 프롬프트 제거 방식을 채택했습니다.

또한 Stability의 학습 스크립트는 SDXL의 다른 조건부 입력인 original_size, crop, target_size도 제거합니다. 저는 kohya의 스크립트에서 이러한 동작을 발견하지 못했기 때문에 사용하지 않았습니다. 이것이 어떤 이점을 제공하는지 확신이 서지 않습니다.

학습 중 모델이 다양한 배치 프롬프트 길이를 경험하도록 했습니다. 즉, 각 학습 샘플의 프롬프트 길이는 확실히 다르지만, 배치 내 모든 프롬프트는 가장 긴 샘플에 맞춰 패딩됩니다. 따라서 배치 후에도 모델이 다양한 길이를 경험할 수 있도록 하는 것이 중요하며 그렇지 않으면 특정 프롬프트 길이 범위에만 과적합될 수 있습니다. 학습 배치를 스캔하는 간단한 Python 노트북을 사용해 좋은 분포를 확인했습니다: 25%의 배치는 225토큰, 66%는 150토큰, 9%는 75토큰이었습니다. 향후 실행에서는 이를 더 균형 있게 조정해 볼 계획입니다.

나머지 학습 과정은 비교적 표준적입니다. 제 실험에서 min-snr 손실이 가장 잘 작동했습니다. 순수 fp16 학습은 저에게 작동하지 않았기 때문에, 모델을 fp32로 두고 혼합 정밀도를 사용해야 했습니다. 잠재 공간이 이미 인코딩되어 있기 때문에 VAE를 로드할 필요가 없어 귀중한 메모리가 절약됩니다. 학습 중 샘플 이미지를 생성하기 위해 별도의 머신을 사용해 저장된 체크포인트를 가져와 샘플 이미지를 생성합니다. 이렇게 하면 학습 머신의 메모리와 컴퓨팅 자원을 절약할 수 있습니다.

최종 실행에서는 효과적인 배치 크기 2048, EMA 없음, 오프셋 노이즈 없음, PyTorch의 AMP(부동소수점 16비트만 사용, bfloat16 사용하지 않음), 학습률 1e-4, AdamW, min-snr 손실, 가중치 감쇠 0.1, 100,000개 학습 샘플에 대한 선형 워밍업 후 코사인 앙니일링, UCG 비율 10%, 텍스트 인코더 1은 학습 가능, 텍스트 인코더 2는 고정, min_snr_gamma=5, PyTorch GradScaler(초기 스케일 65k), 베타1 0.9, 베타2 0.999, eps 1e-8를 사용했습니다. 모든 것은 SDXL 1.0에서 초기화되었습니다.

2048장의 유효성 검사 이미지 데이터셋을 사용했습니다. 유효성 검사는 50,000개 샘플마다 수행되어 모델이 과적합되지 않는지 확인하고 하이퍼파라미터 선택을 도와줍니다. 다른 손실 함수를 비교하기 위해, 학습이 min-snr을 사용하더라도 유효성 검사는 항상 기본 손실 함수로 수행됩니다. 또한 500,000개 샘플마다 체크포인트가 저장됩니다. 저는 샘플 이미지를 100만 스텝마다 확인하는 것이 유용하다고 느꼈기 때문에, 이 작업은 매 두 번째 체크포인트마다 실행됩니다.

안정적인 학습 손실도 기록됩니다(저는 Wandb를 사용하여 실행을 모니터링합니다). 안정적인 학습 손실은 유효성 검사 손실과 동시에 계산됩니다(연속적으로). 이는 유효성 검사와 비슷하지만, 학습 데이터셋의 처음 2048장의 이미지를 사용하고 고정된 시드를 사용한다는 점이 다릅니다. 이는 말 그대로 안정적인 학습 손실을 제공합니다. SD의 학습 손실은 매우 빠르게 변동하기 때문에, 이 지표는 학습 손실의 진행 상황을 훨씬 더 잘 반영합니다.

저는 사용하는 배치 크기가 온라인에서 본 몇 가지 미세 조정 실행의 배치 크기보다 훨씬 큽니다. 하지만 이는 다른 모델을 학습시킨 경험을 바탕으로 한 것입니다. 큰 배치 크기는 장기적으로 이득이 되지만 단기적으로는 비효율적일 수 있어, 소규모 벤치마크에서는 그 효과를 측정하기 어렵습니다. 아마도 여기서는 이득이 있었기를 바랍니다. SDXL의 전체 실행은 너무 비싸서 이런 실험을 많이 할 수 없습니다. 그러나 큰 배치 크기의 즉각적인 이점은 최적화 및 그래디언트 동기화 빈도가 줄어들기 때문에 반복 속도가 빨라진다는 점입니다.

학습은 클라우드에서 렌탈한 8xH100 SXM5 기계에서 진행되었습니다. 이 기계에서는 1초에 약 70장의 이미지를 처리할 수 있었고, 전체 학습에는 약 5일의 지속적인 컴퓨팅 시간이 소요되었습니다. 저 같은 애호가에게는 엄청난 숫자입니다. 포옹을 보내주세요. 저는 아파요.

클라우드에서 학습을 진행한 것은 사전 계산된 잠재 공간을 사용한 주요 동기부여 요인이었습니다. 학습을 시작하기 위해 데이터를 기계에 전송하는 데 약 1시간이 소요됩니다. 이론적으로는 데이터가 첫 번째 패스 동안 스트리밍되는 방식으로 코드를 구성해 학습을 즉시 시작할 수 있습니다. 8xH100 기계조차도 백만 장의 이미지를 처리하는 데 4시간이 걸리므로, 데이터를 학습보다 더 빠르게 스트리밍할 수 있습니다. 따라서 기계는 돈을 낭비하며 휴식하는 상황을 피할 수 있습니다.

사전 계산된 잠재 공간의 단점은 물론 에포크 간 잠재 공간의 다양성을 통한 정칙화 부족입니다. 모델은 에포크 간 매우 다양한 프롬프트를 경험하지만, 이미지의 다른 자르기나 VAE 샘플링의 변동은 경험하지 못합니다. 향후 실행에서는 로컬 GPU로 잠재 공간을 계속 재인코딩해 업데이트된 잠재 공간을 클라우드 기계로 스트리밍할 계획입니다. 이 방식으로 잠재 공간이 몇 에포크마다 변경됩니다. 이번 실행에서는 과적합을 감지하지 못했으므로, 어쨌든 큰 문제는 아닐 수도 있습니다.

마지막으로, 손실 곡선입니다. 다른 데이터셋 간 유효성 검사 손실에 상당한 변동이 있어 타인과의 비교가 어렵지만, 참고로 제공합니다: