Flow 🎨 Flux.1-D

개요

"Flow"는 라트비아 영화인 깁츠 지르바로디스가 감독한 2024년 애니메이션 모험 영화이다. 이 작품은 어두운 회색 고양이가 물에 잠긴 포스트아포칼립스 세계를 탐험하며, 생존과 교우를 추구하는 다양한 동물들과 함께하는 이야기를 그린다. 특히, 이 영화는 완전히 대사가 없으며, 시각적 스토리텔링과 진실한 동물 소리만으로 서사를 전달한다.

"Flow"의 제작은 5년 반에 걸쳐 진행되었으며, 오픈소스 애니메이션 소프트웨어인 Blender를 사용했다. 이 영화는 2024년 5월 22일 칸 영화제의 '유 셰르 레가르' 부문에서 상영되었고, 1998년 이후 처음으로 이 부문에 진출한 라트비아 영화로 주목받았다. 영화는 비평가들로부터 극찬을 받았고, 라트비아 박스오피스 기록을 여러 개 깨며 국내외 영화를 모두 제치고 라트비아 극장에서 가장 많이 관람된 영화가 되었다. 2025년 1월, "Flow"는 골든 글로브 시상식에서 최우수 애니메이션 영화상 수상의 영예를 안았고, 2025년 3월 2일 제97회 아카데미 시상식에서는 최우수 애니메이션 영화상 오스카상을 수상하며 라트비아 역사상 첫 아카데미상의 주인공이 되었다.

사용법

이 모델은 LyCORIS이며, ComfyUI에서 기본 지원된다. 학습 시 트리거 단어로 "In style of Flow"를 사용했지만, 실제로는 이 단어 없이도 사용할 수 있을 것으로 예상되며, 나는 이 부분을 검증하지는 않았다(내가 공개한 모든 이미지는 항상 트리거 단어를 포함한다).

추론 시 다음 매개변수를 사용했다:

Model: flux1-dev (fp8_e4m3fn)
Text Encoder: t5pxxl_fp16/clip_l
Sampler: euler
Scheduler: normal
Steps: 24
Flux Guidance: 4
LoRA Strength: 1

다른 체크포인트 및 모델과의 호환성은 테스트되지 않았다.

영화의 시각적 특성(인간 없이 동물만 등장)과 비교적 제한된 데이터셋 때문에, 이 모델은 렌더링 능력에 한계가 있다. 특히 프레임에 동물이 없는 복잡한 장면을 신뢰할 수 있게 연출하지 못하는 경우가 많다.

가끔(드물게) 인간을 고양이로 변형시키거나(더 자주) 인간에게 고양이 귀를 부여하는 경향이 있다. 이 현상의 원인은 정확히 모르겠다. 잘못된 캡션, 학습 파라미터의 부적절함(이것은 내가 만든 첫 번째 LyCORIS 모델이다), 혹은 다른 이유 때문일 수 있다. 처음에는 이 문제로 상당히 부끄러웠고 모델을 재학습할까 고민했으나, 곧 이 현상이 발생할 때마다 오히려 귀엽고, 특히 인간이 매우 어리석어 보이는 모습 때문에 메믹(meme)처럼 느껴진다는 것을 깨달았다. 그래서 나는 이 버그를 특징으로 받아들여, 페러티 커뮤니티를 위한 작은 선물로 삼기로 결정했다 😆

위에서 언급한 문제들과 배경이 때때로 너무 사실적으로 표현되는 점 때문에 나는 이 모델에 완전히 만족하지는 않는다. 하지만 이 모델은 원작의 캐릭터 디자인과 스타일을 잘 포착하고 효과적으로 일반화했다고 생각한다. 또한, 동일한 시드를 사용하더라도 LyCORIS를 적용했을 때와 그렇지 않을 때 이미지의 구성을 완전히 바꿀 수 있다는 점도 나는 좋은 신호로 간주한다. 잘 학습된 스타일 모델은 단순한 팔레트 필터가 아니라야 하기 때문이다.

이 모델이 약간 과학습되었을 가능성이 있어, 더 다양한 데이터셋으로 재학습할 수도 있지만, 아직 확신하지 못하고 있다.

학습

이 모델은 RTX 3090에서 ai-toolkit을 사용하여 학습되었다. 학습에 사용된 이미지는 총 67장이며, 각 이미지의 캡션은 CogVLM2를 사용해 생성하였다. 캡션 생성 시 다음 프롬프트를 적용했다:
"장면을 자연스러운 서술 언어로 설명하라. 보이는 물리적 요소와 위치만 기술하라. 주요 객체, 구조물 및 환경 세부사항을 포함하고, 예술적 스타일, 분위기 또는 감정은 언급하지 말라. 주관적 표현, 분위기, 품질 평가는 피하라. 자연스러운 언어 구조와 흐름을 사용하라."

학습에는 기본 설정을 사용하며 다음과 같이 수정했다:

network.type: lokr
network.lokr_full_rank: true
network.lokr_factor: 8
network.linear: 16
network.linear_alpha: 16
datasets.caption_dropout_rate: 0.1
train.optimizer: lion
train.lr: 2e-4