Cinematik HunyuanVideo LoRA

こんにちは、

最新の実験を共有したいと思います。私の目標は、Hunyuanビデオ用のスタイルLoRAを作成し、動画により優れたシネマティックなスタイルを適用できるかどうかを試すことです。Hunyuanは優れた動画を生成しますが、私たちが好むような粗くクラシックな映画スタイルを生み出すのは依然として困難です。

このLoRAは、1970年代後半から1990年代までの映画のスチール画像をもとに学習されました。しかし、人間のキャラクターがやや話しすぎるように生成されやすく、アクション中心のプロンプトには十分な流れが欠けています。ただし、より深い色とリアルな人間の描写が欲しければ、これは十分な成果を出します。

また、このLoRAは人間以外（モンスター、獣、ロボットなど）の描写が得意ではありません。それらを人間のように生成してしまいます。より幅広いキャラクターを望む場合は、強度を[0.6 - 0.7]に下げてください。

デモ動画は、信頼できるが遅い4060TIで作成しました。最良の生成結果だけを選んでいないのは、LoRAが抱える欠点を正直に見せたいからです。簡潔な説明文のプロンプトを書き、動画を生成してそのままシーケンスに組み込みました。また、動画の解像度は768x384、速度を優先して69フレームで処理しています。GPUが限られているため、より速いカードではどれだけの性能が出るのか気になります。

学習データセットは約280枚の画像で、クラウド上のL40 GPUを用いて50エポック（18,000ステップ以上）学習しました。

トリガー語：

cinematik

例プロンプト：

-- マーカス、身長高く痩せた30歳の男性、短いバズカット、ベルギー風の顔立ち、ダークな軍用ジャケット、グリーンのカモフラージュパンツ、崩壊したセルビアの戦場の街を歩く、cinematik、シネマティック8K高画質動画

-- ロベールタ、35歳のナイジェリア人女性、ニンジャマスクで髪を隠し、やや太めの体型で黒いニンジャスーツを着用、影を移動し、背景と完璧に溶け込むその静けさが際立つ、背景は金庫の扉が開いた銀行、cinematik、シネマティック8K高画質動画

-- ジョハン、20歳の男性、金髪、アフリカ系、コンゴ系の顔立ち、黒いTシャツと青い短パン、夜、アフリカの自宅の村で木造小屋に火をつける、炎は空へと昇る、cinematik、シネマティック8K高画質動画

-- デューク、サイバネティックな警察官、タイトなレザー製トロン風スーツを着用、黒い反射性ヘルメットをかぶって、サイバーパンクの建物を高 speed で走り抜ける、街の照明とネオンサインが反射する、カメラは彼の閉じられたヘルメットのビューワーへとパンニングする、cinematik、シネマティック8K高画質動画