DoRA (49.11 MB): v04 Dora
학습 데이터 (134.41 MB): ComfyUI_workflow+onetrainer_Dora_backup_data
● 40만 장의 이미지로 Dora를 학습했습니다.
● 목표는 전체 태그 인식 능력과 품질을 향상시키는 Dora를 만드는 것입니다.
v03 버전에서 33개의 추가 에포크와 26만 스텝의 학습을 진행했습니다.
● 개념들이 더욱 강화되었습니다.
일부 태그는 캐릭터 및 개념의 재현성이 향상될 수 있습니다.
그러나 완전한 재현성을 원하신다면, 다른 LoRA와 함께 사용하시는 것을 권장합니다.
● v03과 마찬가지로 다소 과적합되는 경향이 있으므로, DoRA 가중치를 약 0.5로 낮추면 기본 모델의 스타일과 텍스처와의 균형이 더 나아질 수 있습니다.
● 또한, 부정적 프롬프트가 많거나, 태그 가중치나 CFG 값이 너무 높을 경우 때때로 아티팩트가 발생할 수 있으므로, 이러한 설정도 점검해 보시는 것이 좋습니다. 특히 리얼리스틱한 모델에서는 이러한 요소들이 시각적 아티팩트 발생 가능성을 크게 높일 수 있습니다.
● 또한, v03–v02의 이전 에포크들이 일부 경우 더 유연하고 사용하기 쉬울 수 있으므로, 적절한 균형을 찾기 위해 탐색해 보는 것도 가치가 있습니다.
● 512px 해상도에서 생성이 가장 안정적이지만, kohya_deep_shrink를 사용하여 768x1152px와 같은 고해상도로 생성하면 더 매력적인 이미지를 얻을 수 있으므로 시도해 보시길 추천합니다. 약간의 아티팩트가 발생할 수 있으나, 실험해볼 만한 가치가 충분합니다.
다음 문장은 이전 버전과 동일한 설명입니다.
● Dora 또는 태그의 가중치를 1 이상으로 높이면 불안정성이 발생할 가능성이 높습니다.
하지만 1111 또는 Forge와 같은 도구에서는 태그 가중치가 정규화될 수 있으므로, 가중치를 높여도 문제가 발생하지 않을 수 있습니다. ComfyUI도 비슷한 정규화를 수행하는 사용자 정의 프롬프트 노드를 보유하고 있다고 생각합니다.
가중치를 1로 설정했음에도 너무 강한 스타일 영향이나 시각적 아티팩트가 나타난다면, Dora 가중치를 낮춰 보시는 것이 좋습니다.
샘플 이미지에는 많은 불완전함이 포함되어 있습니다. 이는 대량의 데이터로 인한 타협 결과입니다.
● 데이터셋 내용
개념 강화: 240,000장
미학적 강화: 130,000장
인물 + 리얼리스틱: 30,000장
● 이 Dora는 트리거 태그를 포함하지 않습니다. 목표는 원본 모델을 제한하는 것이 아니라 일반적인 개념 강화입니다.
● 가능한 한 많은 개념을 균등하게 학습시키려 했습니다. 단독으로 사용할 경우 효과가 약하므로, 관련 태그를 여러 개 함께 사용하는 것이 필요할 수 있습니다.
캐릭터가 긴 녹색 머리카락을 가지고 있다면, 해당 태그를 반드시 포함해 주세요. NSFW 태그도 마찬가지입니다.
● 특정 개념을 강화하고 싶다면, 단일 개념 LoRA를 추가하는 것을 권장합니다.
● "검열됨, 모자이크 검열, 막 검열, 텍스트" 등의 표현이 나타날 수 있는데, 이는 제 데이터셋에 포함되어 있기 때문입니다. 무검열 이미지도 포함되어 있지만, 많은 이미지에 검열이 적용되어 있습니다. 이러한 표현을 스타일 또는 분위기로 즐기거나, 부정적 프롬프트에 추가해 보세요. 프롬프트에 "무검열"을 추가하는 것도 도움이 될 수 있으나, 항상 문제를 해결하지는 않을 수 있습니다.
● 학습은 NovelAI_v1에서 수행되었으므로, 이의 파생 모델에서도 작동할 것입니다. 그러나 특정 개념이나 스타일에 과적합된 일부 모델은 개념을 잊어버리는 문제가 발생할 수 있습니다. NovelAI에서 잘 작동하는 것이 다른 곳에서는 약할 수 있습니다.
● 부정적 프롬프트에 주의하세요.
"최악의 품질, 저품질:1.4" 같은 용어를 사용하면 고품질 이미지를 쉽게 생성할 수 있지만, 다양성이 제한될 수 있습니다.
"슬라임 소녀"와 같은 특수 태그가 효과가 없다면, 부정적 프롬프트의 강도가 지나치게 높을 수 있습니다.
● 짧은 프롬프트를 사용할 경우 배경이 단순해지고 스타일이 리얼리즘에 치우칠 수 있습니다.
이 경우, 배경 태그를 추가하거나 옷차림, 헤어스타일 등 가능한 한 많은 세부 사항을 포함하여 원하는 이미지를 더 명확히 정의해 보세요.
● 일반 태그와 캐릭터 태그만 학습되었습니다.
작품 제목은 특별히 학습되지 않았지만, 일부 캐릭터 이름에 제목이 포함되어 있어 우연히 강화된 효과를 볼 수도 있습니다.
그러나 캐릭터와 작품 자체는 학습의 중심이 아니었기 때문에 잘 학습되지 않았을 수 있으므로, 기대는 지나치게 하지 마세요. 캐릭터 강화를 원하신다면 단일 개념 LoRA를 사용하는 것이 더 효과적일 수 있습니다.
● 이 LoRA는 512px를 기준으로 설계되었으므로, 고해상도에서 사용할 경우 때때로 왜곡이 발생할 수 있습니다. 고해상도 보정 또는 i2i 업스케일링 시 Dora를 비활성화하면 왜곡이 줄어들고 더 선명한 이미지를 얻을 수 있습니다.
● 참고용으로 제 OneTrainer 설정도 공유드립니다.
이 설정은 U-Net만 학습합니다. Clip Skip은 2로 학습했으며, OneTrainer에서는 1로 설정했습니다. ComfyUI 워크플로우도 함께 공유드립니다.
