DoRA (49.11 MB): v05 Dora
학습 데이터 (362.07 MB): ComfyUI_workflow+onetrainer_data+old_epoch_Dora_backup_data
● 40만 장의 이미지 데이터셋으로 Dora를 학습했습니다.
● 목표는 전반적인 태그 인식 능력과 품질을 향상시키는 Dora를 만드는 것입니다.
v04 버전에서 51개의 추가 에포크와 605,000스텝의 학습을 진행했습니다.
● 개념들이 더욱 강화되었습니다.
일부 태그는 캐릭터 및 개념의 재현성이 향상되었을 수 있습니다.
그러나 완전한 재현성을 원하신다면, 다른 LoRA와 함께 사용하는 것을 권장합니다.
● v04와 마찬가지로 약간 과적합된 경향이 있으므로, DoRA 가중치를 약 0.5로 낮추면 기본 모델의 스타일과 텍스처와 더 나은 균형을 이룰 수 있습니다.
● 또한, 많은 수의 네거티브 프롬프트, 높은 태그 가중치, 또는 높은 CFG 값은 때때로 아티패크를 유발할 수 있으므로, 이러한 설정도 검토해 보는 것이 좋습니다. 특히 리얼리스틱 모델에서는 이러한 요소가 시각적 아티패크 발생 확률을 크게 증가시킬 수 있습니다.
● 또한, v04–v02의 이전 에포크가 일부 경우 더 유연하고 사용하기 쉬울 수 있으므로, 적절한 균형을 찾기 위해 탐색해 보시는 것도 좋습니다.
● 512px 해상도에서 생성이 가장 안정적이지만, kohya_deep_shrink를 사용하여 768x1152px와 같은 고해상도로 생성하면 때때로 더 매력적인 이미지를 생성할 수 있으므로 시도해 보시기 바랍니다. 약간의 아티패크가 발생할 수 있으나, 충분히 실험할 가치가 있습니다.
다음 텍스트는 이전 버전과 동일한 설명입니다.
● Dora 또는 태그의 가중치를 1 이상으로 높이면 불안정성이 발생할 가능성이 높습니다.
그러나 1111 또는 Forge와 같은 도구에서는 태그 가중치가 정규화될 수 있으므로 증가시켜도 문제가 발생하지 않을 수 있습니다. ComfyUI도 비슷한 정규화를 수행하는 커스텀 프롬프트 노드가 있을 것으로 생각됩니다.
가중치를 1로 설정했음에도 불구하고 스타일 영향이 지나치게 강하거나 시각적 아티패크가 발생한다면, Dora 가중치를 낮춰보는 것이 좋습니다.
샘플 이미지에는 많은 불완전함이 포함되어 있습니다. 이는 방대한 양의 데이터로 인한 타협의 결과입니다.
● 데이터셋 구성
컨셉 강화: 240,000장
심미적 강화: 130,000장
인물+리얼리즘: 30,000장
● 이 Dora는 트리거 태그를 포함하지 않습니다. 목표는 원본 모델을 제한하는 것이 아니라 일반적인 개념을 강화하는 것입니다.
● 가능한 한 다양한 개념을 균형 있게 학습시키는 것을 목표로 했습니다. 단독으로 사용할 경우 효과는 약하므로, 관련 태그를 여러 개 함께 사용하는 것이 필요할 수 있습니다.
캐릭터가 긴 녹색 머리카락을 가지고 있다면, 그 태그를 반드시 포함하세요. NSFW 태그도 마찬가지입니다.
● 특정 개념을 강화하고 싶다면, 단일 개념 LoRA를 추가하는 것이 좋습니다.
● "검열됨, 모자이크 검열, 막 검열, 텍스트" 등의 표현이 나타날 수 있으나, 이는 제 데이터셋에 포함되어 있기 때문입니다. 무검열 이미지도 포함되어 있지만, 많은 이미지가 검열되어 있습니다. 이 표현들을 연출이나 분위기로 즐기거나, 네거티브 프롬프트에 추가해 보세요. 프롬프트에 "무검열"을 추가하는 것도 도움이 될 수 있지만, 항상 문제가 해결되는 것은 아닙니다.
● NovelAI_v1에서 학습되었으므로, 이의 파생 모델에서도 작동할 것입니다. 그러나 특정 개념이나 스타일에 과적합된 일부 모델은 개념을 잊어버리는 문제가 있을 수 있습니다. NovelAI에서 효과가 있다고 해서 다른 모델에서도 동일한 효과를 기대하기는 어려울 수 있습니다.
● 네거티브 프롬프트 사용에 주의하세요.
"worst quality, low quality:1.4"와 같은 표현은 고품질 이미지를 생성하기 쉬우나, 다양성을 제한할 수 있습니다.
"슬라임 걸"과 같은 특수 태그가 효과가 없어 보인다면, 네거티브 프롬프트의 강도가 지나치게 높을 가능성이 있습니다.
● 짧은 프롬프트를 사용하면 배경이 단순해지고 스타일이 리얼리즘에 치우칠 수 있습니다.
이 경우, 배경 태그를 추가하거나 의상, 헤어스타일 등 가능한 한 많은 세부사항을 포함시켜 원하는 이미지를 더 잘 정의해 보세요.
● 일반 태그와 캐릭터 태그만 학습되었습니다.
작품 제목은 특별히 학습되지 않았지만, 일부 캐릭터 이름에 작품 제목이 포함되어 있어 우연히 강화가 될 수 있습니다.
그러나 캐릭터와 작품이 학습의 중심이 아니었기 때문에 잘 학습되지 않았을 수 있으므로, 기대를 지나치게 높이지 마세요. 캐릭터를 강화하려면 단일 개념 LoRA를 추가하는 것이 더 효과적일 것입니다.
● 이 LoRA는 512px 해상도를 기준으로 설계되었으므로, 더 높은 해상도에서 사용할 경우 왜곡이 발생할 수 있습니다. 고해상도 보정 또는 i2i 업스케일링 시 Dora를 비활성화하면 왜곡이 줄어들고 더 선명한 이미지를 얻을 수 있습니다.
● 참고용으로 제 OneTrainer 설정도 공유합니다.
이 설정은 U-Net만 학습합니다. Clip Skip 2로 학습했습니다. OneTrainer의 경우 1로 설정됩니다. ComfyUI 워크플로우도 함께 공유합니다.
