DJ Username motion lora
詳細
ファイルをダウンロード
このバージョンについて
モデル説明
キャットミームはベースだ
たまたまjust4funでトレーニングしたローラ(rofl motion LoRA)を共有できて嬉しいです。予想外に素晴らしい出来栄えで、笑っちゃいます lol
トレーニングデータ:Keyboard cat ミーム、16フレーム、512x344
mm_sd_v15_v2、dreamshaper8、350ステップ
キーワード:猫がシンセサイザーを演奏している
3060ti 8GBで5時間トレーニング
私が見つけた最適な設定:
a (username:1.1) が (DJコンソール:1.1)、シンセサイザーを演奏;さらにchill zone、lofi vibe、ambient sound beatsなどのビブストークン
強度:0.777
解像度:512x512
フレーム数:64–80フレーム
AnimateDiff Lightning 8ステップで8–9ステップ
CFG:2.5
Euler + sgm_uniform
Ip-Adapter-plus、weight_typeを「weak output」、モードを「easy out」に設定
弱い出力は、生成終了時に手を自然に接続できるようにするためのものですが、これは万能な解決策ではありません。参考画像の手の位置が弱いからです。
ぜひ自分の設定を共有してください。今後のより良いミーム作成に大いに役立ちます lol
IpAdapter:
これは私が常にAnimateDiffと一緒に使っている、スタイル設定に非常に効果的なツールです。
v2はプロンプトのスタイルをほとんど理解できないため、参考画像+簡潔なプロンプト+少しのスタイルプロンプトを使う方が圧倒的に効果的です。
目的は、ボディと手のポーズをしっかり持った参考画像を丁寧に用意し、それらを自然に接続できるようにすることです。
たとえば、手を上げたポーズを使うと、モデルはテーブルの上に手を置いた状態で訓練されているため、99.99%の確率で「幽霊手」が発生します。
Pinterestで参考画像を探すことを強くお勧めします。また、私がDJたちの画像を集めたボードを作成しました。コミュニティの皆さんが写真を共有してくれて感謝しています。私もPinterestで同じことを始めます <3
参考画像を自由に組み合わせてミックスしてください。どうぞ遠慮なくBro!
P.S. weight_typeやCombine Embedsの実験をさらに続けてみてください。
解像度について:
トレーニング時にミスをしてしまいました。256x384(2:3)ではなく、256x344(32:43)でトレーニングしてしまったため、デフォルト解像度でアーチファクトが発生することがあります。うっかり!
512x512では非常に良い結果が出ますが、他の解像度での実験はそれほど行っていません。
ただし、512x384、512x640、640x512でも良い結果を得られました。
アーチファクトを減らしたい場合、縦長または横長の出力を得るには、IpAdapterの参考画像のアスペクト比をできるだけそれに近づけてください。
総フレーム数(個人的意見):
32フレーム:最大一貫性、最小モーション(手が1本だけ)
48フレーム:もう少しモーションがあるが、手の接続にフレームが不足することがある
64・80フレーム:複数のポーズと手の動きが最もよく、最良の結果
P.S. 幽霊手が発生した場合は、フレーム数を+16または-16してみてください。
ロードマップ:
2〜3体の「筋肉を奮わせる猫」を384x256でトレーニング(次ステップ)
Runpodでホストし、解像度を上げる
トレーニングには人間を使わない(just4fun)
さらに狂った動きのLoRAを作成
