Yoko Kuno 🎨 Flux.1-D

개요

요코 쿠노(그녀에 대해](https://myanimelist.net/people/40460/Yoko_Kuno), 인터뷰_)는 일본 애니메이션계에서 떠오르는 신성이다. 1990년 이바라키현 투쿠바시에서 태어난 그녀는 감독, 애니메이터, 만화가, 일러스트레이터로 활동해 왔다. 타마 예술대학에서 그래픽 디자인을 전공하여 2013년 졸업했다. 졸업 프로젝트인 "Airy Me"는 표현주의와 실험주의 요소를 융합한 독특한 예술 스타일로 주목받았다.

2015년, 그녀는 이와이 슈ん지의 "Hana to Alice: Satsujin Jiken"("한아와 알리스의 살인 사건")의 로토스코프 애니메이션 감독으로 선정되어 업계 내 경력을 더욱 확장했다. 이후 "투명한 유리의 땅"에서 감독 및 주요 애니메이션을, "페리귄 하이웨이"에서 콘셉트 디자인을, 영화 "크레용 신짱: 몬노케 신부 체인푸덴"에서 캐릭터 디자인, 스토리보드, 감독, 주요 애니메이션을 맡았다.

그녀는 2024년 영화 "Bakeneko Anzu-chan"("유령 고양이 안즈")로 메이저 장편 애니메이션 감독으로 첫 정식 데뷔했다. 이 영화는 먼저 실제 촬영을 한 후, 쿠노의 지휘 하에 이 영상에 로토스코프 애니메이션을 적용했다. 실제 촬영은 공동 감독 야마시타 노부히로가 맡았다. "유령 고양이 안즈"는 긍정적인 평가를 받으며 2025년 아카데미상 애니메이션 장편 부문 후보 자격을 확보했다.

요코 쿠노의 스타일은 이 LoRA가 보여주는 것 이상으로 훨씬 더 다양하고 유연하다. 그녀의 Airy Me를 보면, 적어도 나에게는 매우 불안한 느낌이 들지만 동시에 매혹적이다. 그녀는 또한 만화가이기도 하다. 21회 만화 부문 신인상 수상작인 "아마기 유이코의 뿔과 사랑"을 확인해보라. 나는 언젠가 이 책을 구입해서 그녀의 만화 스타일도 훔쳐보고 싶다.

하지만 나 개인적으로는 맥도날드 일본의 기지의 배달 서비스 협업 광고를 통해 그녀의 작품을 알게 되었다. 나는 그 스타일이 마음에 들어서 Flux LoRA로 재현해보고 싶었다. 그 직후, 그녀의 정식 애니메이션 영화인 "유령 고양이 안즈"가 공개된다는 사실을 알게 되었고, 이 영화는 그 광고와 동일한 스타일을 보여주고 있었다. 따라서 이 두 작품만으로 그녀의 스타일을 정의하는 것은 정확하지 않지만, 나는 그녀의 메이저 애니메이션 프로젝트 스타일을 매우 좋아했고, 최초 버전의 LoRA에서는 이 두 작품의 장면만을 사용하기로 결정했다(자세한 내용은 아래 '학습' 섹션 참조).

그녀의 로토스코프 애니메이션에는 정지 이미지로는 담아낼 수 없는 특별한 무언가가 있다. "유령 고양이 안즈"를 꼭 보길 강력히 추천한다. 이 영화는 따뜻하고 재미있는 작품이며, 지브리의 서사적 마법 수준은 아니지만, 요코 쿠노의 서사적 예술 스타일은 그 자체로 큰 잠재력을 지니고 있다.

사용법

이곳에 게시된 모든 이미지는 ComfyUI 메타데이터를 포함하며, 다음과 같은 설정으로 생성되었다:

Model: flux1-dev (fp8e4m3fn)
Text Encoder: t5pxxl_fp16
Sampler: euler
Scheduler: 24 steps (normal)
Flux Guidance: 4
LoRA Strength: 1

특정 트리거 문구 없이도 작동하는 것처럼 보인다. 하지만 나는 항상 프롬프트 앞에 "Yoko Kuno 스타일로"라는 문구를 붙인다.

학습

이 LoRA는 "기지의 배달 서비스" 맥도날드 광고와 "Bakeneko Anzu-chan"의 트레일러에서 캡처한 화면을 사용했다(현재는 영화 전체를 확보하지 못해 실제 화면 캡처는 사용하지 못했다). ffmpeg를 사용하여 모든 프레임을 추출한 후 최적의 프레임을 선별했다. 그 후 크롭, 워터마크 제거 등을 수행하여 205장의 고품질 이미지를 확보했으며, 이를 CogVLM2-Chat-19B로 캡션을 생성했다. 캡션 생성 프롬프트는 다음과 같았다:

"스타일 세부사항을 묘사하지 말고 이 이미지를 설명하세요. 설명은 'Image in style of Yoko Kuno, depicting...'로 시작하고, 그 후에 설명을 이어가세요."

CogVLM2는 복잡한 장면조차도 정밀하게 묘사하기 때문에 모든 캡션을 확인했고, 키키, 지지, 카린, 안즈의 이름을 명시적으로 추가했다. 하지만 이 태그들이 종합 LoRA에서 이 캐릭터들을 프롬프트로 빠르게 생성하는 데 도움이 될 것이라고 기대하지는 않았고, 단순히 완결성을 위해 추가한 것이었다. 실제로 예상대로, 키키와 카린, 지지와 안즈의 개념은 서로 뒤섞였고(안즈의 특징이 더 뚜렷하게 드러났다). 더욱 심각하게는, 모델이 지지의 묘사에 어려움을 겪는 경우가 종종 발생했는데, 이는 이미지 생성 모델의 품질 평가 핵심 지표 중 하나이다.

나는 영화 전체를 확보하는 대로 "유령 고양이 안즈"에서 더 많은 고품질 화면 캡처를 사용해 이 모델을 다시 학습할 계획이다. 이것이 현재 버전이 버전 1로 표시되지 않은 이유이다. 또한 그녀의 다른 작품, 예를 들어 "Hana to Alice: Satsujin Jiken"과 다른 프로젝트의 데이터도 포함할 것을 고려하고 있다. 단, 그녀의 메이저 애니메이션 스타일과 충돌하지 않는 한에서이다. 또한 배경이 종종 사실적인 스타일로 떨어지며, 물감처럼 보이도록 표현하는 데 실패했다는 점에도 불만을 느낀다.

비록 이 점들은 문제지만, 나는 이 LoRA가 지금까지 내가 만든 최고의 LoRA라고 생각한다. 프롬프트 준수도와 해부학적 일관성도 매우 우수하다(비록 나는 편향되었을 수도 있다). 여기에 게시된 모든 이미지 중에서 몇 장을 골라낸 것 외에는 거의 없으며, 거의 항상 첫 번째 시도에서 정확한 해부학과 프롬프트의 모든 세부사항을 구현해냈다.

이 LoRA는 RTX 3090에서 AI Toolkit을 사용하여 미세 조정되었다. 주요 학습 하이퍼파라미터는 다음과 같다:

Rank: 8
Alpha: 16
Optimizer: prodigy
Steps: 10000
Batch size: 1
Learning rate: 1
Learning rate scheduler: constant
Decouple: true
Use bias correction: false
Betas: (0.9, 0.99)
Weight decay: 0.05
Noise offset: 0.1

또한 일반적인 FLUX.1-dev가 아니라, Flux-Dev2Pro(링크)를 기반으로 학습되었다. 이 변경이 모델 품질을 실제로 향상시켰다는 실증적 수치 증거는 없지만, 개인적인 관찰에 따르면 해부학적 정확성과 프롬프트 준수도가 향상된 것으로 보인다. 실제로 두 날 동안의 테스트에서, 8개의 LoRA를 동시에 테스트하고 동일한 시드와 프롬프트로 생성된 이미지를 시각적으로 평가한 결과, LoRA를 적용하지 않은 원본 이미지가 LoRA 적용 이미지보다 프롬프트를 덜 준수하고 해부학적 오류가 더 많았던 경우가 있었다.

P.S.

누군가에게 유용할 수 있으므로, 데이터셋도 함께 업로드했다.