DoRA (49.11 MB): v03 Dora
DoRA (227.54 MB): Dora 백업의 이전 에포크
학습 데이터 (30.65 KB): ComfyUI_workflow+onetrainer_config
● 40만 장의 이미지 데이터셋을 사용해 Dora를 학습했습니다.
● 목표는 전체 태그 인식 능력과 품질을 향상시키는 Dora를 만드는 것입니다.
v02 버전에서 60개의 추가 에포크와 70만 스텝의 학습을 수행했습니다.
태그 개념이 크게 향상되었습니다.
이제 데이터셋의 거의 모든 개념을 인식할 수 있습니다.
캐릭터는 학습의 주요 초점이 아니지만, 잘 알려진 캐릭터를 생성할 수 있습니다. 완전한 재현을 원하시면 다른 LoRA와 함께 사용하세요.
● v03은 심각하게 과적합되어 있으므로, Dora 또는 태그의 가중치를 1보다 높게 설정하면 불안정성이 발생할 가능성이 높습니다.
그러나 1111 또는 Forge 같은 도구에서는 태그 가중치가 정규화될 수 있으므로, 이를 높여도 문제가 발생하지 않을 수 있습니다. ComfyUI도 유사한 정규화를 수행하는 사용자 정의 프롬프트 노드가 있을 것으로 생각됩니다.
가중치를 1로 설정해도 스타일 영향이나 시각적 이상이 너무 강하게 느껴진다면, Dora 가중치를 낮춰보는 것이 좋습니다.
시각적 효과 측면에서 Dora 가중치를 약 0.5로 낮추면 더 입체적인 느낌, 더 나은 색상, 전반적으로 더 좋은 텍스처를 얻을 수 있습니다.
● 또한, 중간 에포크 버전의 Dora를 업로드했습니다. v03의 효과가 너무 강하다고 느껴진다면, 이 버전을 사용해 더 나은 균형을 찾아보세요. v02는 일부 경우 덜 강한 영향으로 더 쉽게 활용할 수 있습니다.
샘플 이미지에는 많은 불완전함이 포함되어 있습니다. 이는 대량의 데이터로 인한 타협의 결과입니다.
● 데이터셋 내용
개념 향상: 240,000장
미적 향상: 130,000장
인물+리얼리즘: 30,000장
● 이 Dora는 트리거 태그를 포함하지 않습니다. 목표는 원래 모델을 제한하는 것이 아니라 일반적인 개념을 향상시키는 것입니다.
● 가능한 한 많은 개념을 균등하게 학습하도록 노력했습니다. 단독으로 사용할 경우 효과가 약하므로, 관련 태그를 여러 개 조합해 사용하는 것이 필요할 수 있습니다.
캐릭터가 긴 녹색 머리카락을 가지고 있다면, 해당 태그를 반드시 포함하세요. NSFW 태그도 마찬가지입니다.
● 특정 개념을 강화하고 싶다면, 단일 개념 LoRA를 추가하는 것이 권장됩니다.
● "검열, 모자이크 검열, 막 검열, 텍스트" 같은 표현이 나타날 수 있지만, 이는 제 데이터셋에 이러한 이미지가 포함되어 있기 때문입니다. 비검열 이미지도 포함되어 있지만, 많은 이미지가 검열되어 있습니다. 이를 스타일이나 장식 요소로 즐기거나, 네거티브 프롬프트에 추가해보세요. 프롬프트에 "비검열"을 추가하는 것도 좋은 방법일 수 있지만, 항상 문제가 해결되는 것은 아닙니다.
● NovelAI_v1에서 학습했으므로, 이의 파생 모델에서 작동할 것입니다. 그러나 특정 개념이나 스타일에 과적합되어 개념을 잊어버리는 모델도 있습니다. NovelAI에서 잘 작동하는 것이 다른 모델에서는 약할 수 있습니다.
● 네거티브 프롬프트에 주의하세요.
“최저 품질, 낮은 품질:1.4”와 같은 표현을 사용하면 쉽게 고화질 이미지를 생성할 수 있지만, 다양성을 제한할 수 있습니다.
“슬라임 소녀” 같은 특수 태그가 효과가 없다면, 네거티브 프롬프트의 강도가 너무 높을 수 있습니다.
● 단축 프롬프트를 사용할 경우 배경이 단순해지고 스타일이 리얼리즘에 치우칠 수 있습니다.
이 경우, 배경 태그를 추가하거나 옷차림, 머리스타일 등 가능한 한 많은 세부 사항을 포함해 원하는 이미지를 더 명확히 정의하세요.
● 일반 태그와 캐릭터 태그만 학습되었습니다.
작품 제목은 특별히 학습되지 않았으나, 일부 캐릭터 이름에 제목이 포함되어 있어 우연히 강화될 수 있습니다.
그러나 캐릭터와 작품은 학습의 초점이 아니었기 때문에 잘 학습되지 않았을 수 있으므로, 기대를 낮추시기 바랍니다. 캐릭터를 강화하려면 단일 개념 LoRA를 추가하는 것이 더 효과적일 수 있습니다.
● 이 LoRA는 512px 해상도를 목표로 설계되었습니다. 더 높은 해상도에서 사용하면 때때로 왜곡이 발생할 수 있습니다. 고해상도 보정 또는 i2i 업스케일링 시 Dora를 끄면 왜곡이 줄어들고 더 선명한 이미지를 얻을 수 있습니다.
● 참고로 제 OneTrainer 설정도 공유드립니다.
이 설정은 U-Net만 학습합니다. Clip Skip 2로 학습했습니다. OneTrainer에서는 1로 설정되어 있습니다. ComfyUI 워크플로우도 함께 공유드립니다.
