DJ Username motion lora

猫咪迷因，这是一个基础款

很高兴与大家分享我闲来无事训练的一个搞笑动效LoRA，没想到效果出奇的好 lol

训练数据来源：键盘猫迷因，16帧，512x344

mm_sd_v15_v2，dreamshaper8，350步

关键词：一只猫在弹奏合成器

在 3060ti 8GB 上训练了 5 小时

训练指南

我找到的最佳设置：

a (username:1.1) 在玩 (DJ控制台:1.1)，合成器；再加上一些氛围关键词：chill zone、lofi vibe、ambient sound beats

强度：0.777

分辨率：512x512

帧数：64-80 帧

使用 AnimateDiff Lightning 8 步，步数设置为 8-9

CFG：2.5

采样器：Euler + sgm_uniform

Ip-Adapter-plus，权重类型设为 "weak output" 和 "easy out"

我理解“弱输出”有助于在生成末尾更好地连接双手，因为模型对参考图的依赖度不高，但这并非万能解法。

别忘了分享你的设置，这将帮助我们未来做出更好的迷因 lol

IpAdapter：

这是我与AnimateDiff搭配使用的绝佳功能，用于设定风格。

因为v2对提示词风格的理解很差，使用参考图 + 简短提示 + 少量风格提示效果更好。

目标是精准提供带有身体与手部姿势的参考图，以便更容易连接。

例如，如果手部向上，由于模型训练时手部多放在桌上，你有99.99%的概率出现“幽灵手”。

建议在 Pinterest 上寻找参考图，我也创建了一个合集，收录了一些DJ图，感谢社区分享，我也会在Pinterest上继续做下去 <3

你可以自由组合和混用参考图，随心所欲，兄弟！

P.S. 多尝试不同的 weight_type 和 Combine Embeds

分辨率：

训练时我犯了个错，训练分辨率是 256x344（32:43），而不是 256x384（2:3），这就是为什么默认分辨率下会出现一些伪影，呜呼~

在 512x512 下效果非常好，但我对其他分辨率探索不多。

不过我也在以下分辨率获得不错效果：512x384、512x640、640x512

注意：如果你希望输出垂直或水平画面且减少伪影，建议使用与之长宽比相近的IpAdapter参考图。

总帧数（个人看法）：

32帧：最大一致性，最小动态（仅一只手）

48帧：稍多动态，但有时帧数不足导致手部无法连上

64&80帧：最佳效果，包含多姿态与手指晃动

P.S. 如果出现“幽灵手”，尝试加或减16帧

未来计划：

训练2-3个扭动的猫（384x256，下一步）

在Runpod上部署并提升分辨率

训练时不使用人类图像（just4fun）

制作更多疯狂动作的LoRA

我的链接合集