V4 DeJanked Image 2 Video Hunyuan Magic with Flux and Refiner Speed Hack

详情

模型描述

不要使用这个

这是一次有趣的尝试。I2V正式版已经发布,去下载那个吧。我保留这个版本,仅作为在官方I2V发布前,一种奇怪的旧式手工拼凑i2v流程的记录。

最终版本!(大概)

V4引入了精炼速度捷径(配合引导视频使用效果极佳,depthflow已支持)

Flux重新启用

更多电解质!

我想我就停在这里了。我在这套速度捷径和我的其他后端流程上折腾了很多,虽然充满挫折,但也乐趣十足,但我认为现在这个版本我已经相当满意了。希望你们喜欢,并在下方分享你们的作品。如果有问题(总会有的),也请在评论区留言,我会或其他人尽力帮忙。

好了,Hunyuan,球在你们那边了。什么时候发布官方版,好让这些土法炼钢都变成多余?我们都在搞这些歪门邪道,你们干脆直接放出来吧。顺便,如果你用这个做官方流程,记得给我打钱,我喜欢吃饭。

顺便提一下,看看这里另一个工作流——LeapFusion,它其实效果很好。虽然对生成效果的控制少一点,但更贴近原图。这两个都值得拥有。

最终更新:(哈!)
为增强效果,新增了Hunyuan精炼步骤

流程简化

小更新:
V3.1主要是优化。
移除了Reactor(从GitHub上撤下了)
移除了Flux(已损坏)
移除了Florence(内存占用过大)
去噪处理
为depthflow添加了一些新选项。

V3:最终倒计时!

好吧,这大概已经足够了。其他人可以继续发挥创意,但我认为我对这个整体流程已经玩够了,也挺满意的……(直到我不满意为止。快来吧,Hunyuan,发布真正的图像转视频功能啊。)

总之,一些调整和改动:
为推荐提示加入了Florence(未直接连接,仅当你启用了Hunyuan部分时提供提示建议)

添加了开关,可开启/关闭各种功能

流程更合理(略微节省开销)

DepthFlow之后缩小图像,以更好地保留画面元素

增加了更多描边颜色(跟随黑色)并优化了重要设置区域的结构

其他一些我没记录的小调整。

V2:

更优化,添加了一些新设置,移除了部分无用节点,整体流程更顺畅。还新增了可选的Flux组,供希望用Flux替代XL的用户使用。

另外加入了一些Teacache的辅助功能(可尝试用它提速,但别把阈值调太高,建议小幅递增)。

总之,试试看吧,效果相当惊艳。我并不指望它和官方I2V发布后有多大区别……(希望他们的能更快些,毕竟depthflow步骤是个瓶颈)

顺便感谢那位给我打赏了1000 buzz的人。我还不确定该怎么用,但真的很酷!

(注意:我对HunyuanFast与常规版以及LoRA的真正区别其实一无所知。我写了“别用”,如果你用了Fast模型,这句话依然成立;但如果你用完整模型,就可以用。别听我的,去问别人。我就像GPT2.0在胡编乱造。我唯一知道的是:这套流程能很好地模拟一个土法图像转视频的效果)

XL HunYuan 土法I2V DepthFlow:略加打磨的土法工作流

确实是真正的图像转视频。但也带点巫术。它是DepthFlow的巫术仪式结合HunYuan魔法,创造出看起来像真实运动的效果(好吧,它确实是真实运动……某种意义上的)。是否实用,还是纯粹娱乐,由你决定。

开始前的重要提示

  1. 去噪自由度。 如果你想要大面积的运动和动态变化,就把去噪值调高。它不会拖慢速度,但高设置(0.80以上)会显著改变原图。注意这点。即使设到80以上,画面仍会保留原图的相似性。

  2. 分辨率很重要。 在送入DepthFlow前,通过descale步骤将分辨率(XL生成后)控制在512或更低,以加快处理速度。分辨率越大 = 速度越慢 = 你这是何苦?

  3. 脸融了不是问题。 高去噪会改变人脸和其他细节。如果你想要完全一致的人脸,开启Reactor进行人脸替换。否则,关闭它,节省时间,拥抱混乱。

  4. DepthFlow是魔法棒。 DepthFlow的步骤越多,视频就越长。多尝试——这是解锁狂野、富有表现力动作的关键。

  5. LoRA设置提示:

    • 不要使用FastLoRA——它在默认的Fast Hunyuan模型下无效。只有你切换到完整模型时才能使用。

    • 即使你不直接调用,也要加载任何其他LoRA。模型会利用LoRA的平滑性来获得更好效果。

    • 对于HunYuan,我推荐Edge_Of_Reality LoRA或类似风格以增强真实感。

  6. XL LoRAs行为正常。 在XL阶段工作,就像普通流程一样。进入HunYuan后,LoRA作为辅助工具发挥作用。大胆实验——根据你的愿景选择写实或风格化LoRA。

警告:工作流中Reactor默认关闭!

(如你在意原图人脸,就打开;若不介意人脸变化,关掉可节省大量时间)

工作流程说明

  1. 生成初始图像

    • 在XL阶段使用详细提示,或用图生图流程优化现有图像。

    • 想用Flux增强?尽管用,但非必需。HunYuan部分的去噪处理很可能已经覆盖了Flux的大部分效果。我选择了XL的速度而非Flux的清晰度,但你也可以试试——启用该组,调整参数,一键启动,其实只是个开关的事。

  2. DepthFlow创造运动

    • 在DepthFlow中添加夸张的缩放、平移和倾斜。这些动效让HunYuan理解动态姿态、行走等动作。

    • 除非你追求混乱,否则别让运动太疯癫。

  3. HunYuan处理输出

    • 魔法在此发生:噪声、去噪和运动解读,将DepthFlow结果转化为流畅的动态视频。

    • 低去噪(0.50或以下)保留原图接近度;高去噪(0.80以上)产生强烈运动,但偏离原图更远。

  4. Reactor(可选)

    • 如果你坚持原图人脸,Reactor会逐帧替换回原本人脸。

    • 如果你接受轻微人脸变化,关闭Reactor,节省时间。

  5. 最终放大

    • 最后一步将视频放大至1024x1024(或原图分辨率的两倍)。

为什么有这个流程?

因为等Hunyuan官方图像转视频功能等得太久,我需要点东西来折腾。这套(较不土法的)流程有效,而且玩起来超有趣。

第二次警告:
你可能被要求下载一堆还没安装的节点(DepthFlow、Reactor,可能还有别的)。提前知会一声。

最终想法

这个流程远非完美,但能完成任务。如果你有改进,尽管发挥——署名我会感激,但非必需。我只是希望激发大家去尝试LoRA和工作流。

记住,这不是好莱坞级别的视频生成,这是我们在“差点就成”技术阶段中,用创意巫术搞出来的乐趣。玩得开心!

此模型生成的图像

未找到图像。