CarConsistency-Wan2.2-I2V-ConsistencyLoRA1

ショーケースのサンプルは、ハイとロー、そしてライトニングローLoRAの両方を使用しています。

皆さん、お久しぶりです。最近、モデルをリリースしなかったことをお詫びします。過去1か月間、Wan2.2-I2VモデルのLoRAについて革新的な機能の研究に没頭していました。ようやくいくつかの研究成果を得ることができ、このWan2.2-I2V LoRAシリーズ、私が勝手に「ConsistencyLoRAシリーズ」と呼んでいるものをご紹介します。このLoRAシリーズの機能は、入力画像をもとに、Wan2.2-I2Vモデルを使って、その画像と高い一貫性を保った動画を直接生成することです。

大家好,好久不见.由于最近一个月都在研究Wan2.2-I2V模型Lora的创新功能,没有发更多的模型,抱歉.最近终于有了一些研究结果,向大家介绍这个系列的Wan2.2-I2V LoRA,我自己称为ConsistencyLoRA系列.这个系列的LoRA功能是通过输入图像,通过Wan2.2-I2V模型直接生成与输入图像高度一致性的视频.

CarConsistencyはこのシリーズの最初のモデルです。このモデルの目的は、入力画像（白背景が推奨）とプロンプト（例：「The car is speeding on the moon/water/ice field, floating in the space...」）から、車両の高度な一貫性を保った動画を直接生成することです（画像がF1カーである場合、プロンプトは「The car」ではなく「The F1 car」と変更してください）。私が個人的にテストした十数枚の画像では、CarConsistencyは車両の高い一貫性を維持できており、フェラーリSF25レーシングカーの広告、SU7 Ultraや方程豹SUVのナンバープレートに書かれた中国語、車両の装飾パターンなど、細部まで保っています。生成時には「lightning-low」モデルを使用することをお勧めします。これにより、生成速度が速く、品質も安定します。

CarConsistency是该系列的第一个模型.该模型希望通过直接输入车辆的图(最好是白底图),然后通过prompt(样例中是the car is speeding on the moon/water/ice field,floating in the space)直接生成对应车辆高度一致性的视频(如果是F1赛车,建议写成F1 car).从我个人测试的十多张图来看,CarConsistency可以维持车辆的高度一致性,比如:法拉利SF25赛车身上的广告,Su7 ultra和方程豹车牌上的中文和车辆上的花纹等.建议生成时加入lightning-low模型,速度更快,质量更稳定.

ConsistencyLoRAシリーズを開発した目的は、I2V（画像から動画への変換）モデルの商業応用の可能性を広げることです。ConsistencyLoRAは、Wan Fun VACEおよびWan Animateがリリースされる前に訓練されました。それらと比較すると、ConsistencyLoRAにはいくつかの欠点があります。まず、生成される動画には入力画像の前フレームが含まれるため、フレームカットで削除する必要があります（私はこの操作用のスクリプトCutFrame.ipynbをアップロードしました）。次に、生成結果がときどきぼやけることがあります。しかし、ConsistencyLoRAには以下のような利点もあります：

1. 使用の容易さとアクセス性：Wan I2Vワークフローに基づいているため、シンプルで便利で、VRAMの要求が低く、他のI2VベースのLoRAも互換性があります。また、特定のタスクに特化して訓練されているため、その用途における安定性が非常に高いです。
2. プロンプトによる迅速な生成：プロンプトで制御した迅速な生成が可能です。たとえば、衣類の一貫性を維持する場合、異なる民族、肌の色、体型のモデルが指定された衣類を着用している動画をプロンプトで生成できます。

做ConsistencyLoRA系列的LoRA是希望拓宽I2V模型商业应用的场景.ConsistencyLoRA的训练在Wan Fun VACE和Wan Animate发布之前,相比Wan Fun VACE和Wan Animate,ConsistencyLoRA的缺点在于视频有输入图像的前置帧,可以通过帧剪切去除(我上传了CutFrame.ipynb的脚本可以直接去除),然后生成有时候会有模糊情况.而ConsistencyLoRA优点在于:1.因为是基于Wan I2V工作流,所以简单方便,显存门槛低,各种基于I2V的lora也适用,且因为是基于特定任务进行的训练,所以在特定任务上的稳定性较强.2.可以快速通过Prompt生成,比如衣服一致性,通过Prompt可以生成不同族裔,不同肤色,不同身材的模特穿着对应的衣服.

LoRAの概念からデータセットの処理、訓練、ハイパーパラメータの調整まで、すべて私一人で対応しました。4090 24GB GPUのVRAM制限により、現在は[360, 360]の潜在空間でのみ訓練が可能であり、まだプロトタイプ段階です。結果が満足できなければ、ご理解とフィードバックをいただければ幸いです。改善に努めます。ここまで読んでいただき、ありがとうございます。このモデルの商用利用にはライセンスが必要です（訓練にかかった電気代くらいは回収できれば、と願っています、笑）。より大きなVRAMを備えた計算リソースで実験をサポートしていただける場合（ぼやけた問題を解決するためにより大きな潜在空間を試す）、または特定の製品向けにLoRAを訓練する商業協業にご興味がある場合は、CivitaiでDMをお送りください。寄付をご希望の場合は、https://ko-fi.com/ghostshellをご利用ください。ありがとうございます。

因为从LoRA概念,数据集处理,训练和超参调整,都由我一个独立完成.由于4090 24G的显存限制,现在还只能用[360,360]的latent进行训练,所以还是处于原型机阶段,如果效果不太理想,请多谅解和反馈,我争取改进.感谢您能看到这里,该模型商用需要授权(希望能把训练的电费平了,哭).如果您有更大显存的算力支持我做一些实验(更大的latent尝试去解决模糊问题),或者有商业合作去训练特定产品LoRA的意向,请联系我QQ:338728644,感谢感谢.