360-degree panoramic shot - LTX-2

详情

模型描述

当我意识到 LTX-2 可以生成 4K 视频 时,我第一个想法是:天啊,我们终于可以开始批量制作 VR 视频了。于是我立刻匆忙制作了这个 LoRA,根本没仔细思考,只是为了看看 LTX-2 是否默认就能做到这一点。

简短回答:差不多吧。

就像 Wan 2.2 的 Hardcut LoRA 一样,LTX-2 理解 360° 视频的“概念”,但难以正确执行。这个 LoRA 给了它额外的推动力,使其能够可靠地生成真正的 360 度内容,而不会变成一团乱麻。

不过,不知为何,它无法无缝闭合接缝,当你转身时,360 度球体上会出现一条明显的垂直线。我不确定目前是否有节点能解决这个问题,如果你找到了解决方案,请告诉我。

注意:视频的两端是匹配的,只是在不同点被截断了,因此从技术上讲,你可以水平裁剪视频,使其在一端结束的位置正好是另一端开始的位置。


推荐设置

  • 权重:0.6–1 效果良好

    • 我甚至用过 0.2 也能跑通,欢迎自行尝试
  • 宽高比:2:1


后期处理(可选)

原始视频可以直接在大多数 360 度媒体播放器或 VR 播放器中播放。然而,如果你想要真正的 VR 深度感,你需要为视频添加立体深度。

这个节点可以实现这一点:
https://github.com/SamSeenX/ComfyUI_SSStereoscope?tab=readme-ov-file

⚠️ 警告:该节点似乎有尺寸限制。
例如,我的一个视频最终大小约为 500 MB,超过了该节点(甚至 ComfyUI 本身)允许上传的大小。

如果你找到了解决方法,请告诉我。否则,你可能需要使用外部深度工具或手动处理深度。


VR 元数据注入(强烈推荐)

建议注入 VR 元数据,以便头显和播放器能自动识别该视频为 VR 内容。

你可以使用 Google 的 Spatial Media 工具:
https://github.com/google/spatial-media/releases

免费且非常易于使用。


TL;DR

  • 是的,它能工作

  • 使用 2:1 宽高比

  • 你可以制作 VR 视频

  • 通过添加深度和 VR 元数据,你可以让视频效果更好


额外闲谈

老实说,我很庆幸 LTX-2 不能原生做到这一点。我甚至在意识到自己本该先查清楚之前,已经花了整整一天训练这个 LoRA 了。

更重要的是,我现在完全理解了为什么市面上几乎没有类似的 LoRA。即使是一张 5090没有足够的显存来训练它。我不得不使用其中一张 48GB Ada 显卡。此外,寻找可用的平面全景 360° 视频数据集简直是一场噩梦,所以我无法构建一个庞大的数据集。幸运的是,我其实也不需要。

不过说实话:如果这个 LoRA 在训练了两天后失败了,我早就放弃说“去他的”。

总之,和往常一样,如果你喜欢我的工作并想支持我,欢迎请我喝杯咖啡 ☕

https://ko-fi.com/aidepository35

此模型生成的图像

未找到图像。