Flow 🎨 Flux.1-D

概要

"Flow" は、ラトビアの映画監督グインツ・ジルバロディスが監督した2024年アニメーション冒険映画である。物語は、水に沈んだポストアポカリプティックな世界を黒灰色の猫が旅し、さまざまな動物たちとともに生存と仲間を求めながら進む。特筆すべきは、この映画が完全に無言であり、物語の展開は視覚的物語とリアルな動物の音声のみに頼っている点である。

「Flow」の制作は5年半を要し、オープンソースのアニメーションソフトウェアBlenderが使用された。この映画は2024年5月22日にカンヌ国際映画祭の「ある視点」部門で初公開され、1998年以来初の同部門に選出されたラトビア映画として大きな記録を残した。映画は批評家から称賛され、ラトビア国内の興行記録を複数破り、国内・海外作品を含むラトビアの映画館で最も多く視聴された映画となった。2025年1月には「Flow」がゴールデングローブ賞の最優秀アニメ映画賞を受賞し、世界の映画業界での地位をさらに固めた。そして2025年3月2日に開催された第97回アカデミー賞では、最優秀アニメ映画賞を受賞し、ラトビアの初アカデミー賞となった。

使用方法

このモデルはLyCORISであり、ComfyUIでそのまま使用可能である。トレーニングにはトリガー語「In style of Flow」を使用したが、なくても使用できるはずである（ただし、私は確認していない。私が公開したすべての画像には必ずトリガー語を含めている）。

推論には以下のパラメータを使用した：

Model: flux1-dev (fp8_e4m3fn)
Text Encoder: t5pxxl_fp16/clip_l
Sampler: euler
Scheduler: normal
Steps: 24
Flux Guidance: 4
LoRA Strength: 1

他のチェックポイントやモデルとの互換性は検証されていない。

映画のビジュアルの特徴（人物は登場せず、動物のみ）と比較的限られたデータセットのため、このモデルの描画能力には制限がある。特に、フレーム内に動物がいない複雑なシーンを信頼性高く描画することはできない。

たまに（まれに）人間を猫に変換したり、より頻繁に人間に猫の耳をつけてしまうことがある。この現象の原因は不明である。誤ったキャプションだったのか、トレーニングパラメータが不適切だったのか（これが私が作成した最初のLyCORISモデルである）、あるいは他の要因なのか。当初、この問題に非常に恥ずかしさを感じ、モデルを再トレーニングすることも検討した。しかし、すぐに気づいたのは、このような現象が起こったとき、むしろとてもかわいらしく、特に人々が変な姿になる点で伝播性（ミーム性）があるということだった。そこで、このバグを「機能」として受け入れ、ファー・コミュニティへの小さなプレゼントとして扱うことに決めた 😆

前述の問題により、また背景がときどき過剰にリアルになってしまうことから、私はこのモデルに完全には満足していないが、全体としてはかなり良い出来であると考えている。元のキャラクターデザインやスタイルをよく捉え、効果的に一般化している。また、同じシードを使用しても、LyCORISを適用した場合としない場合で画像の構成が完全に変わってしまうという点は、通常、良い兆候であると考えている。適切にトレーニングされたスタイルモデルは、単なるパレットフィルターであってはならないからだ。

このモデルは少し過学習されている可能性があるため、より多様なデータセットで再トレーニングする可能性はあるが、現時点では未定である。

トレーニング

このモデルはai-toolkitを用い、RTX 3090でトレーニングされた。トレーニングには合計67枚の画像を使用した。画像のキャプションはCogVLM2で生成し、以下のキャプションプロンプトを適用した：
「自然な物語言語でシーンを記述してください。見える物理的要素と場所のみを記述し、主なオブジェクト、構造、環境の詳細を含めてください。芸術的スタイル、ムード、感情には言及しないでください。主観的な記述、雰囲気、質の評価を避けてください。自然な言語構造と流れを使用してください。」

トレーニングにはデフォルト設定を使用し、以下の変更を加えた：

network.type: lokr
network.lokr_full_rank: true
network.lokr_factor: 8
network.linear: 16
network.linear_alpha: 16
datasets.caption_dropout_rate: 0.1
train.optimizer: lion
train.lr: 2e-4