概要

このワークフローは、「画像から動画」を支援するさまざまな技術を比較するための実験として作成されました。実際には、単一の画像を起点として、以下の4つの技術を比較し、1つの動画に合成することができます：

• AnimateLCM

• SVD XT 1.1

• ToonCrafter

• FILM Interpolation

ToonCrafterとFILM Interpolationは、良好な結果を得るために少なくとも2フレームを必要とするため、SVDが生成した最後のフレームを、IPAdapterとControlNetを用いたimg2img処理で再生成し、スタイルと構図の一貫性を保ちながら、SVDによる「焼き付き」効果を修正しています。

このワークフローは主にSDXL向けに設計されています（AnimateLCMを除く）が、SD1.5にも簡単に調整可能です。

ワークフローは、ComfyUIの出力フォルダ内に「vidcmp」という名前のフォルダを作成し、その中に本日の日付が付いたサブフォルダを生成して、すべての中間動画と最終的な合成結果を出力します。

このワークフローは、VRAM 24GBのRTX 3090でテストされています。

使用方法

ベース画像

これはワークフローの出発点です。ベースモデル、LoRA、画像解像度などの選択を行い、ポジティブおよびネガティブプロンプトを構成します。以下は、このワークフローで生成されたベース画像の例です：

AnimateLCM

この部分はAnimateLCM動画を生成します。疎なスケッチControlNetとIPAdapter Tiledを使用して、生成された動画が元の画像に従うようにします。より自由な動きを許したい場合は、重みを下げてください。また、モーションの増減を調整できる「Mutival Dynamic」ノードも用意されています。

このグループには2つのサンプリングパスと、最終的なアップスケーリング処理が含まれており、動画を元の解像度に戻します。

SVD XT 1.1

このグループはSVD XT 1.1技術を使用して動画を生成し、アップスケーリング処理も適用します。

LastFrameFix

このグループの目的は、SVD動画の最後のフレームを取り、img2img処理で再生成し、品質を向上させることです。SVD動画は最後の方で過度な変形や焼き付きが発生しやすい傾向があります。

このグループはDepthとCannyの2つのControlNet、およびIPAdapterを使用してスタイルを維持します。

グラフ内には、このグループによる改善前後の画像を比較できる「comparer」ノードが含まれています。

ToonCrafter

このグループはToonCrafter動画を生成します。メモリ不足エラーが発生した場合は、ワークフローを再実行するか、「ImageScaleToTotalPixels」というノード内の画像解像度を下げてください。

このグループは2つの画像を入力として使用します：ワークフローの最初に作成したベース画像と、SVD XTから改善された最終フレームです。

また、ToonCrafterは4つの技術の中で唯一、固定フレーム数（16フレーム）の動画しか生成できません。このワークフローは、AnimateLCMとSVD XTが出力するフレーム数に合わせるために、バッチをループして繰り返し生成します。

FILM

このグループはFILMによるフレーム補間動画を生成します。入力は2つの画像です：ワークフローの最初に作成したベース画像と、SVD XTから改善された最終フレームです。

最終合成

これらのグループは、4つの画像→動画技術を2x2で比較する動画を生成し、すべての動画を1つの最終動画に連結します。