A Certain Theory for LoRa Transfer

Lykon이 제작한 AnyLora의 소개와 Machi가 수행한 실험에 영감을 받아, 학습에 사용된 베이스 모델의 영향력을 보다 깊이 있게 조사하기로 결정했습니다.

전체 문서는 아래 참조하세요.

동일한 페이지에서는 다른 실험들도 공유하고 있습니다.

이번엔 애니메이션 학습에 집중하겠습니다. 간단히 요약하면,

모델을 바꿀 때 스타일도 함께 바꾸고 싶다면 NAI 또는 ACertainty를 사용하세요. 반면, 한 가족의 여러 모델에서 학습된 스타일을 유지하고 싶다면, 그 모든 모델과 가장 유사한 모델(또는 병합 모델)을 사용해야 합니다.
모델 X를 사용할 때 X의 스타일을 그대로 살리고 싶다면, 이 스타일이 포함되지 않은 X의 조상 모델을 기반으로 학습해야 합니다. 특히 코스프레 이미지를 만들고 싶다면, NAI를 기반으로 학습하는 것이 좋으며, NeverEndingDream이나 ChilloutMix에 직접 학습하는 것은 피하는 것이 좋습니다.
WD 수준의 규모로 학습하지 않는 한, 일반적으로 애니메이션 학습에는 SD 1.4/1.5를 사용하지 않는 것이 좋습니다.

일반적인 조언

데이터셋이 가장 중요합니다. 가능한 한 정규화 데이터셋을 사용하세요. 데이터가 다양하고 정확한 캡션을 갖추도록 하세요 (트리거 단어는 이미지 속 내용을 학습하지만, 캡션에 기술되지 않은 내용은 학습하지 않습니다).
더 높은 해상도로 학습하면 배경 및 세부 사항이 향상되지만, 반드시 그만큼의 가치가 있는 것은 아닙니다.
저는 CLIP 1과 2에서 학습할 때 차이를 전혀 느끼지 못했습니다. 만약 차이를 느끼신다면 알려주세요.

전체 해상도 이미지(각각 100MB 이상)를 업로드할 수는 없지만, zip 파일을 다운로드하여 직접 확인해 보실 수 있습니다.