Studio Ghibli 🎨 Lumina-Image 2.0

설명

원래의 Lumina 2는 Ghibli 스타일을 이해하지 못합니다. 제가 프롬프트를 입력하면 알아볼 수 없는 해부학적 오류가 있는 놀라운 이미지가 생성되지만, 이는 Ghibli 스타일이 아닙니다.

저는 Ghibli 예술 스타일을 매우 좋아하며, 매번 새로운 모델에 이 스타일을 가르치려고 노력해왔습니다. 이는 Lumina Image 2에 대한 제 초기 시도 결과입니다. 더 나아질 수는 있지만, 그보다 더 나빠질 수도 있었죠 🤷

사용법

갤러리의 각 이미지에는 내장된 워크플로우가 포함되어 있으므로, 그냥 ComfyUI에 드래그하세요.
거의 모든 매개변수는 기본 워크플로우와 동일하며, 다음 항목만 다릅니다:

Steps: 40
Scheduler: sgm_uniform

(참고: 이 설정이 반드시 최적은 아닙니다. 단지 이 설정으로 LoRA 출력을 테스트했을 뿐입니다.)

다른 샘플러는 아직 충분히 테스트하지 않았지만, 듣기로는 gradient_estimation 샘플러가 일부 개선을 제공할 수 있고, CFG 값을 낮추면 해부학적 정확도가 향상될 가능성이 있다고 합니다.

학습

저는 Ghibli 영화의 화면 캡처 일부를 사용했으며, 총 184장(1024x1024)의 이미지를 사용했습니다.

이 이미지들은 JoyCaption Alpha Two(로컬에서)를 "설명적/긴" 모드로 사용하여 캡션을 작성했고, 각 캡션 앞에 "You are an assistant designed to generate high-quality images based on user prompts. Studio Ghibli style."라는 문장을 추가했습니다.

(저는 LLM 접두어가 불필요하다고 생각하지만, 그래도 추가했습니다.)

학습에는 ai-toolkit을 사용했으며, 이 도구는 최근 Lumina-2 학습 브랜치를 주 저장소에 병합했습니다. 참고로, Lumina-2 학습(LoRA 및 전체 미세 조정)을 지원하는 또 다른 학습 도구는 diffusion-pipe입니다. 저도 이를 테스트해보았지만, 제 환경에서는 ai-toolkit보다 더 느렸습니다.

처음에는 기본 구성을 사용했지만, 기본 학습률(1e-04)이 너무 높다고 판단했습니다. 여러 최적화기를 실험한 결과, 2000~3000 단계 후 LoRA의 품질이 좋지 않았습니다. 그 후 학습률을 5e-05로 변경했더니 더 나은 결과를 얻었습니다. 최종적으로 20,000단계까지 학습하기로 결정했습니다. 학습은 매우 빠르게 진행되었습니다(RTX 3090에서 약 1.7초/단계). 아마도 지난 두 달 동안 제가 단지 HunyuanVideo만 학습해왔기 때문일 것입니다 😆 학습이 끝난 후, TensorBoard 로그에 따라 훈련 중에 좋은 샘플 품질을 보였거나 손실이 가장 낮은 체크포인트를 선택했습니다. 그 후 ComfyUI에서 수동으로 테스트하고 17,200단계의 체크포인트를 최종 선택했습니다.

(완전히 확신하는 바는 아니지만, 우수한 LoRA를 얻기 위한 총 학습 단계 수는 훨씬 줄일 수 있을 것이라 생각합니다. 이는 단지 첫 시도일 뿐이며, 동시에 Lumina-2가 얼마나 오랫동안 학습될 수 있는지 테스트하고 싶었습니다.)

요약하면, 저는 다음 매개변수를 사용했습니다:

lr: 5e-5
optimizer: "adamw8bit"
optimizer_params.betas: [0.95, 0.98]
optimizer_params.weight_decay: 0.01
noise_offset: 0.1
lr_scheduler: "cosine"

기타 하이퍼파라미터는 모두 기본값 그대로 사용했습니다. 데이터세트 및 구성 파일은 이 LoRA와 함께 첨부되었습니다.

(저는 랭크 16을 그대로 두는 것이 실수였다고 생각합니다. Lumina-2 LoRA는 스타일의 세부 사항을 완전히 잡아내려면 최소 랭크 32 이상이 필요합니다. 하지만 저는 아직 학습 중입니다.)

호환성

한 가지 언급할 점: ai-toolkit은 ComfyUI와 호환되지 않는 형식으로 LoRA safetensors 파일을 저장합니다. 이를 해결하기 위해, 학습 데이터에 포함된 _lumina2comfy.py 스크립트를 사용하여 ai-toolkit으로 생성된 LoRA 체크포인트를 ComfyUI 호환 형식으로 변환했습니다. 사용법은 다음과 같습니다:

python lumina2comfy.py "path/to/my/lora.safetensors"

(인자로 폴더 경로를 전달하면, 해당 폴더 내의 모든 safetensors 파일을 일괄 변환합니다.)

누군가에게 유용할 수 있기를 바랍니다. 😊

(참고로, diffusion-pipe는 LoRA 변환을 필요로 하지 않습니다. 이미 ComfyUI 호환 형식으로 파일을 출력합니다.)

생각

학습에 대한 제 첫인상은 매우 긍정적입니다. 완전한 미세 조정이 얼마나 잘 될지는 모르겠습니다(테스트할 시간이나 적절한 데이터셋이 없기 때문에), 캐릭터나 개념 LoRA 학습도 시도해보지 않았지만, 이 모델에 새로운 스타일을 가르치는 것은 매우 유망해 보입니다.

제가 가진 Lumina 2에 대한 초보적인 평가는, 분명히 Flux(2B 대 12B)보다는 떨어지지만, 애니메이션/일러스트레이션용으로 튼튼한 기본 모델이 될 수 있을 것 같습니다. 해부학적 오류가 있지만, 이 클래스의 모든 모델이 해부학적 문제에 시달리며(텍스트 렌더링도 실패합니다). NSFW 콘텐츠에 대해서는 테스트하지 않았지만, 테스트한 사람들은 별로 좋지 않다고 말합니다.

이 모델의 가장 강력한 장점은 16채널 VAE와 훌륭한 프롬프트 준수성입니다(제가 지금까지 본 어떤 모델보다도 더 나으며, 때로는 Flux에 근접하기도 합니다). 또한, 모든 T2I 모델 중에서 가장 이상적인 라이선스를 가지고 있습니다(하지만 그들은 분명 Schnell의 VAE로 전환해야 합니다).

진정한 질문은, 미세 조정으로 해부학적 오류를 고칠 수 있을까 하는 것입니다. 저는 가능하다고 생각하지만, 확신할 수는 없습니다. 테스트 중 얻은 많은 이미지에는 다양한 신체 왜곡이 포함되어 있었지만, 그 중 일부는 LoRA 탓일 수도 있습니다.

커뮤니티의 지원이 있다면, 이 모델은 또 다른 NAI-XL이 될 수 있습니다. 그러나 적절한 애니메이션 미세 조정이 없다면, 이 모델은 잊혀질 위험이 있습니다. 마치 현재 SD3.5M이 위험에 처해 있는 것처럼요. 또한 오늘날 누가 Kwai Kolors나 PixArt Sigma, Hunyuan DIT을 기억할까요? ☹️