sd1.5_lora_lab

● 400,000장의 이미지 데이터셋으로 Dora를 학습했습니다.

● 목표는 원래 스타일을 유지하면서 태그 인식과 전반적인 품질을 향상시키는 Dora 모델을 만드는 것이었습니다.

“실사, 인물, 애니메이션 스크린캡” 이미지를 추가함으로써 이러한 스타일은 더욱 강화되었습니다. 프롬프트에 각 스타일 태그를 추가하면 효과가 있습니다. 샘플 이미지에서 볼 수 있듯이, 애니메이션 모델이라도 어느 정도 실사 스타일의 이미지를 생성할 수 있습니다.

● 데이터셋 구성

개념 강화: 240,000장
미학 강화: 130,000장
인물+실사: 30,000장

● 이 Dora는 트리거 태그를 포함하지 않습니다. 목표는 원래 모델을 제한하는 것이 아니라 일반적인 개념 강화입니다.

이는 주요 수정이 아니라, 모델이 이미 알고 있으나 매장되어 제대로 작동하지 않던 개념들을 안내하는 것입니다.

● 가능한 한 다양한 개념을 균등하게 학습하도록 했습니다. 단독으로 사용할 경우 효과가 약하므로, 관련 태그를 여러 개 함께 사용하는 것이 필요할 수 있습니다.

캐릭터가 긴 녹색 머리카락을 가지고 있다면, 해당 태그를 반드시 포함하세요. NSFW 태그에도 동일하게 적용됩니다.

● 특정 개념을 강화하고 싶다면, 단일 개념 LoRA를 추가하는 것을 추천합니다. Dora_nsfw_remember_v001과 함께 사용하는 것도 효과적입니다. v001은 특정 개념에 더 집중하여 추가적인 지원을 제공합니다.

● “검열됨, 모자이크 검열, 막대 검열”과 같은 결과가 발생할 수 있지만, 이는 제 데이터셋에 이러한 이미지가 포함되어 있기 때문입니다. 비검열 이미지도 포함했지만, 많은 이미지에 검열이 적용되어 있습니다. 이러한 결과를 표현이나 분위기로 즐기거나, 네거티브 프롬프트에 추가해 볼 수 있습니다. 프롬프트에 “비검열”을 추가하는 것도 도움이 될 수 있지만, 항상 문제가 해결되는 것은 아닙니다.

● 학습은 NovelAI_v1을 기반으로 진행되었으므로, 이 모델의 파생 버전에서도 작동할 것입니다. 그러나 일부 모델은 특정 개념이나 스타일에 과적합되어 개념을 잊어버리는 문제가 발생할 수 있습니다. NovelAI에서 효과가 있는 것이 다른 모델에서는 약해질 수 있습니다. LoRA 강도를 1 이상으로 높이거나 태그를 강화하면 도움이 될 수 있습니다. 강도가 1.5 이하일 때는 거의 문제가 없습니다. 반대로, 아티팩트가 증가한다면 강도를 낮춰보세요.

● 네거티브 프롬프트에 주의하세요.

“최저 품질, 저품질:1.4”와 같은 표현은 쉽게 고화질 이미지를 생성할 수 있지만, 다양성을 제한할 수 있습니다.

“슬라임 소녀” 같은 특수 태그가 효과가 없어 보인다면, 이 네거티브 프롬프트의 강도가 지나치게 높을 수 있습니다.

● 짧은 프롬프트를 사용하면 배경이 단조로워지고 스타일이 실사 쪽으로 기울어질 수 있습니다.

이 경우, 배경 태그를 추가하거나 옷차림, 헤어스타일 등 가능한 한 많은 세부사항을 포함하여 원하는 이미지를 더 명확히 정의해 보세요.

● 일반 태그와 캐릭터 태그만 학습되었습니다.

작품 제목 자체는 별도로 학습되지 않았지만, 일부 캐릭터 이름에 제목이 포함되어 있어서 운이 좋다면 약간의 강화 효과를 볼 수 있습니다.

그러나 캐릭터와 작품은 학습의 핵심이 아니었기 때문에 잘 학습되지 않았을 수 있으므로, 기대는 하지 마세요. 캐릭터를 강화하려면 단일 개념 LoRA를 사용하는 것이 더 효과적일 것입니다.

● 이 LoRA는 512px에 최적화되어 있으므로, 더 높은 해상도에서 사용할 경우 때때로 왜곡이 발생할 수 있습니다. 고해상도 보정이나 i2i 업스케일링 중 Dora를 끄면 왜곡이 줄어들고 더 선명한 이미지를 얻을 수 있습니다.

● 참고용으로 제 OneTrainer 설정도 공유하겠습니다.

이 설정은 U-Net만 학습합니다. Clip Skip 2로 학습했습니다. OneTrainer에서는 1로 설정되어 있습니다. ComfyUI 워크플로우도 함께 공유합니다.