Studio Ghibli 🎨 Flux.1-D

개요

스튜디오 지브리와 그 세계적으로 유명한 예술 스타일을 소개할 필요는 없습니다. 이미 이 스타일을 재현하는 뛰어난 플럭스 모델들이 존재합니다(저는 특히 이 모델을 사랑하고 추천합니다). 여기에는 제가 지브리 스타일 LoRA를 만들려 시도한 결과가 담겨 있습니다. 원래 계획했던 최고의 지브리 LoRA를 만드는 데는 성공하지 못했지만 🙂, 결과는 그래도 나쁘지 않습니다(가끔은요). 하지만 여전히 개선의 여지가 충분히 있습니다. 현재 모델의 해부학적 오류율에 만족하지 못하고 있으며, 다음 버전을 개발 중입니다. 정확한 일정을 제공할 수는 없지만, 확실히 업데이트되고 개선될 것입니다.

사용법

트리거 문구는 "In style of Studio Ghibli"입니다. 하지만 이 문구 없이도 작동하며, 이 경우의 효과는 충분히 테스트하지 않았습니다. "anime" 또는 "Miyazaki"를 사용해도 스타일 변환이 트리거됩니다.

권장 추론 설정은 다음과 같습니다:

모델: flux1-dev (fp8e4m3fn)
텍스트 인코더: t5pxxl_fp16
샘플러: euler
스케줄러: 24단계(일반)
플럭스 가이던스: 4
LoRA 강도: 1

갤러리에서 공개하는 모든 이미지는 인페인팅, ControlNet, 업스케일링 등 없이 단순한 텍스트-이미지 생성으로 만들어졌습니다. 이는 모델의 원시 능력(또한 한계점과 약점)을 보여주기 위함입니다.

학습

LoRA는 공식 지브리 사이트에서 가져온 954장의 고품질 이미지(1080p 해상도)를 사용해 RTX 3090 하나로 미세 조정되었습니다. 이미지에는 Joy Caption Pre Alpha를 로컬에서 호스팅하여 캡션을 생성했습니다(당시에는 이후 버전이 존재하지 않았습니다). 사용한 Joy Caption 프롬프트는: "A descriptive caption for this image:\n"입니다. 모든 캡션은 "In style of Studio Ghibli." 문구로 시작했으며, 이후 수동으로 검토하여 오류를 수정하고 누락된 세부사항을 추가했습니다. 캐릭터나 장소는 태그하지 않았습니다.

특정 영화의 이미지에는 추가로 캡션을 지정했습니다: "Scene from '...' film"(세부사항은 아래 참조). 총 954장의 이미지는 다음과 같았습니다:

50장: "바람의 계곡의 나스카" - 추가로 "Scene from 'Nausicaa' film." 접두사 적용
50장: "하늘의 성" - 추가로 "Scene from 'Laputa' film." 접두사 적용
50장: "이웃집 토토로" - 추가로 "Scene from 'Totoro' film." 접두사 적용
50장: "기키의 배달 서비스" - 추가로 "Scene from 'Kiki's Delivery Service' film." 접두사 적용
50장: "오직 어제만" - 추가로 "Scene from 'Only Yesterday' film." 접두사 적용
50장: "포르코 로소" - 추가로 "Scene from 'Porco Rosso' film." 접두사 적용
50장: "바다의 물결" - 추가로 "Scene from 'Ocean Waves' film." 접두사 적용
50장: "포모 폼보" - 추가로 "Scene from 'Pom Poko' film." 접두사 적용
28장: "온 유어 마크" - 추가로 "Scene from 'On Your Mark' film." 접두사 적용
50장: "심장의 소리" - 추가로 "Scene from 'Whisper Of The Heart' film." 접두사 적용
50장: "마녀 배달부 키키" - 추가로 "Scene from 'Mononoke' film." 접두사 적용
50장: "센과 치히로의 행방불명" - 추가로 "Scene from 'Spirited Away' film." 접두사 적용
50장: "호르의 이동 성" - 추가로 "Scene from 'Howl's Moving Castle' film." 접두사 적용
50장: "지중해의 이야기" - 추가로 "Scene from 'Earthsea' film." 접두사 적용
50장: "바다 위의 폰요" - 추가로 "Scene from 'Ponyo' film." 접두사 적용
50장: "아리에티" - 추가로 "Scene from 'Arrietty' film." 접두사 적용
50장: "팝핀 언덕의 아이들" - 추가로 "Scene from 'Poppy Hill' film." 접두사 적용
50장: " 바람이 불어오는 곳" - 추가로 "Scene from 'Wind Rises' film." 접두사 적용
50장: "마니가 있었던 곳" - 추가로 "Scene from 'Marnie' film." 접두사 적용
26장: "소년과 백로" - 추가로 "Scene from 'The Boy And The Heron' film." 접두사 적용

버전 0.2에서는 데이터셋 구조를 재검토하고 처음부터 캡션을 재생성할 계획입니다.

LoRA 학습은 26,000단계 동안 진행되었으며(250단계마다 가중치 저장). 이 시점에서 모델의 개선이 멈췄고, 해부학적 오류(예: 마법의 팔)가 두드러졌습니다. 그 후 몇 날 몇 밤을 걸쳐 최고의 LoRA 버전을 선택했습니다. 목표는 스타일, 다양성, 오류 최소화 사이의 완벽한 균형을 찾는 것이었습니다. 주로 긴 복잡한 프롬프트를 사용해 다수의 캐릭터와 세부적인 상호작용을 포함하는 시나리오를 테스트했고, 실패할 확률이 높은 경우를 관찰하여 LoRA의 오류가 가장 적은 버전을 찾았습니다 🤔.

의도적으로(그리고 잘못하게 😅) 테스트를 자동화하지 않고 "클릭-기다림-불만"이라는 수동 프로세스를 사용했습니다.

결국 16,250단계의 모델을 선택했습니다. 6,000단계 및 9,000단계의 LoRA도 나쁘지 않았지만, 16,250단계 모델이 더 "성숙하고", "고전적이며", "다양하다"고 느껴졌습니다(지나치게 "편안한" 지브리 LoRA를 원하지 않았습니다).

참고로, 아래 링크는 다른 단계의 LoRA가 동일한 시드로 생성한 결과를 비교한 것입니다(https://ibb.co/TKkgx2D). 프롬프트는 다음과 같았습니다:

"In style of Studio Ghibli. Scene from 'Totoro' film. This image is a digitally created scene from a Japanese animated film. The scene features three characters: two young girls and an elderly woman, sitting on a woven mat under a large tree with dense foliage. The background is lush with greenery, including tall trees and vibrant flowers, creating a serene, natural setting. One girl, who appears to be about four years old, wears a yellow dress with white accents and has pigtails tied with red ribbons. She holding a corn cob and smiling happily. Another girl, slightly older, in a white shirt and blue shorts, sits beside her to the left. She has dark hair and a calm expression. The elderly woman, seated to the right, wears a traditional Japanese kimono with a lavender pattern. She has white hair and a gentle smile, holding a bunch of leafy greens. In front of them, on the woven mat, are various vegetables like carrots, tomatoes, and cucumbers, arranged in a basket. The scene exudes a sense of peaceful coexistence with nature, emphasizing simplicity and harmony."

테스트 후 많은 실수를 저지른 것을 깨달았습니다 😶:

- Joy Caption이 생성한 캡션에 너무 많은 불필요한 내용을 그대로 남겨두었습니다("이 이미지는 디지털로 만들어진 일본 애니메이션 장면입니다", "이 장면은 자연과의 평화로운 공존을 느끼게 합니다..." 등). 제 생각에 CogVLM2 또는 Qwen2가 스타일 LoRA를 위한 이미지 캡션 생성에 더 적합할 수 있지만, 더 많은 테스트가 필요합니다. (그러나 여전히 복잡한 자연어 프롬프트로 캡션을 생성하는 것이 스타일 LoRA에 더 낫다고 믿습니다.)

- LoRA가 약간 예측 불가능하고 다양하며, 심지어 '이상한' 느낌을 내도록 하려 했습니다. 이를 통해 예술적 다양성이 높은 이미지를 생성하려 했고, 어느 정도 성공했습니다. 하지만 이 '이상함'이 때때로 일관성과 해부학(손이 뒤엉킨 등)에 부정적인 영향을 미친다고 느꼈습니다. 이는 과적합 때문이라고 생각했지만, 심지어 낮은 단계(6,000~9,000단계)의 LoRA에서도 이러한 오류가 나타났습니다. 아마 제가 "Pom Poko"의 스크린캡을 데이터셋에 포함시킨 것이 잘못이었을지도 모릅니다(인간과 초자연적 생물의 특징이 혼합되지 않도록 캡션을 신중히 검토했지만요).

- AI-Toolkit 이외의 학습 도구도 탐색해야 했습니다. AI-Toolkit은 "그냥 작동"하고 훌륭한 모델을 생성하지만, 오직 그것에만 의존하는 것은 현상 유지 편향일 수 있습니다.

- 그리고 그게 아니더라도, 기본 설정에만 고집한 것이 최선의 선택이 아니었을 수도 있습니다.

LoRA는 Windows 11에서 AI-Toolkit을 사용하여 다음 하이퍼파라미터로 학습되었습니다(실제로 해상도를 제외한 모든 설정은 기본값):

랭크: 32
알파: 32
배치 크기: 1
단계: 16250
학습률: 1e-4
저장 간격: 250
해상도: 1024, 768
최적화기: adamw8bit

이 LoRA를 사용해 주시거나, 이 글을 끝까지 읽어주셔서 감사합니다! 초반에 언급했듯이, 플럭스 미세 조정 경험을 쌓으며 이 모델을 더 개선하고자 합니다.