Judy Hopps (On Model)
详情
下载文件
关于此版本
模型描述
这是我个人尝试创建的一个朱迪·霍普斯LoRA。
尽管基础模型已经包含大量关于朱迪·霍普斯的知识,且已存在众多LoRA,但许多LoRA和模型主要基于粉丝艺术进行训练。
作为一位朱迪·霍普斯的忠实粉丝,我希望能尽可能精准地还原她的形象。
V3已发布!
我建议使用以下模型:/model/3671?modelVersionId=1623867
经过数月的努力,我终于完成了我的朱迪·霍普斯LoRA V3版本。这项工作始于去年10月,2.5版本刚发布时。由于数据集规模庞大,为所有图像添加描述花了很长时间,但这些描述远非完整(我只是手动使用Booru风格的标签,未使用任何自动标注工具)。
尽管如此,它仍应具备良好的姿势和服装理解能力。
我花费了相当长的时间进行训练,尝试了多个模型:先是Pony V6,然后是Illustrious 1.0,接着尝试了NTRMix,最后是Gehenna。
我曾考虑发布Illustrious 1.0版本,并建议用户使用Gehenna 2作为基础模型,因为Gehenna 2的输出效果相当不错,但丢失了电影的原貌,也无法正确渲染特定的触发词和服装。
遗憾的是,Illustrious 1.0的输出结果过于不稳定,我不推荐使用该基础模型。
最近,我开始尝试YiffyMix,因为它在提示理解方面表现优异,更重要的是,具有出色的场景一致性。但即使遵循其推荐设置,我仍难以避免输出画面显得“过度处理”。
但我希望保留YiffyMix在提示遵循和一致性方面的优势,因此决定用它来训练V3,希望不会出现“烧焦”的效果。
天哪,我真希望早点尝试这个方案!
过去那些徒劳地对着不同模型反复训练、试图提升图像质量和一致性的日子,答案竟然是直接用YiffyMix训练,真是笑死我了。
我认为,除非出现更优秀的基础模型,否则这几乎就是我能做到的极限了,因此这很可能是我目前最后一个版本。
也就是说,这个版本不会适配Pony V6:我最初确实是在Pony上训练的,但不知为何,加入描述后效果完全相反,输出结果变得一塌糊涂。因此,如果你使用Pony,2.5版本仍是最佳选择。否则,我强烈推荐你试试YiffyMix。
(先前版本 V2.5)
2.5版本将是我正式添加完整描述前的最后一个版本。
此版本旨在增强服装控制能力,因为在V2中很难让朱迪脱离她的标准警服造型。除了为不同服装添加标签外,我还加入了几个电影中标志性的姿势标签。在我的测试中,此版本还显著提升了生成图像的一致性,因此本画廊中的所有示例图像均使用基础模型Pony V6生成。
对于服装,你可能需要手动指定具体需求,而不仅仅是使用触发词。例如:“judyciv, white tshirt” 或 “judyfrm, pink shirt”。更多示例请参见图片。
服装标签
"judyhopps":所有图像的通用触发词。
"judyblu":她的警服造型。
"judyfrm":她穿粉红色衬衫的农场装。
"judyciv":她初到动物城时穿的服装:白色T恤叠在黑色T恤外,搭配黑色长裤。
"judymtr":她的停车管理员制服。
姿势/概念标签
"judymicbang":朱迪被麦克风环绕,看起来有点可疑。
"judyact":她伸出舌头“装死”的经典动作。
"judyback":朱迪在自然历史博物馆仰面躺着的姿势。
"judychairclimb":朱迪试图跳上ZPD超大椅子时的臀部视角。
"judycry":朱迪向尼克道歉时哭泣的场景。
"judydance":电影结尾Gazelle演唱会上朱迪跳舞的姿势。
"judymultiply":她开玩笑说兔子繁殖能力强时的俏皮姿势。
"judypeek":朱迪在DMV柜台后偷偷张望。
"judysquish":朱迪被两个大型哺乳动物夹在中间。
"judytrainlean":朱迪倚靠在火车控制台上的后背视角。
"judytrainhang":朱迪悬挂在火车侧面、回望的帅气姿势。
"judykneel":我喜欢的另一个姿势——她穿着停车管理员制服跪在人行道上。
"judytrainrecline":朱迪仰躺在火车控制台上。
部分姿势效果更好,欢迎自行尝试。
下一个版本:
目前唯一要做的就是为所有图像添加描述,这有望彻底解决剩余的一致性和控制问题。
(先前版本 V2)
此版本向数据集中新增了约500张图片,总计1,146张。主要改进在于面部渲染、角色准确性及整体画质。
我原计划发布一个1.5版本——即带描述的V1,但结果并不理想,有时甚至更差。
本次发布仍无任何描述,触发词仍为 judyhopps。我主要使用AutismMix Confetti生成图像,但若想最大程度贴近电影风格,我建议使用Pony V6。若内存允许,可先用Autism生成初始图像,再用Pony V6作为60%强度的精修器。
由于尼克在多张截图中出现,使用“male fox”提示可有效生成他的形象。
已知问题:
- 尽管服装准确性有所提升,但更换服装仍较困难,模型会强烈倾向保留她的标准警服。降低LoRA权重、提高目标服装权重可能有所帮助。建议初始设置:LoRA 0.7,服装标签 1.2。
此问题预计在最终添加描述后可解决。
- 她的耳朵有时会同时显示向上和向下两个位置,这也是V1存在的问题。
下一个版本:
目前唯一要做的就是为所有图像添加描述,以提高服装更换的可控性。除此之外,我对当前结果已基本满意。
(先前版本 V1):
该模型基于超过500张电影截图训练,每张均裁剪为1024x1024,训练步数为20步。它绝非完美,但结果已超出我的预期,我会继续使用它生成图像,哈哈。未使用任何描述。
触发词为 judyhopps,在提示中加入“bunny”有助于提升输出效果。
大多数图像使用Autism Mix Confetti生成,因为我发现它最接近Pony的风格,且较少出现解剖学错误。Cyberrealistic Pony也表现优异:/model/443821/cyberrealistic-pony
两者均建议在生成裸体形象时,在负面提示中加入 "muscular, abs, ribcage",否则模型常会生成过于夸张的解剖结构,与原作风格不符。
已知问题:
服装准确性仍不完全可靠(有时会生成她系领带的形象,这源于尼克出现在部分截图中。添加描述应能解决此问题。)
从某些角度或距离过远时,面部可能严重变形。不过,该LoRA训练时已包含大量近景与中景镜头。













