my samus instaNGP workflow

由于某些原因，我无法成功上传此项目的上下文图片，所以我就不再尝试了。这些图片要么被删除，要么对观众不可见，但没有任何解释让我可以修复问题，因此我决定放弃。

如果你决定尝试，请在评论中上传一个gif，这是我新尝试的内容，我想看看大家能用它做出什么。

这里似乎有些误解，需要明确说明：人物涂装版本的图片并非生成的，而是我最初在instaNGP中用于生成transform.json的原始摄影测量图像。

另外，

NVIDIA的instaNGP，也被称为NeRF，是一种神经摄影测量应用，可以仅用50-160张图像在30分钟到1小时内即时生成一个密集的3D点云，而通常需要300-500张图像才能达到满意的效果。我仅使用ControlNet对这些摄影测量图像进行了编辑。

下载包中包含instaNGP文件夹，以及两个数据集的transforms.json文件：Samus身体涂装版和Samus裸体版（两个transforms.json文件完全相同）。

• 使用instaNGP处理了身体涂装图像。

• 将身体涂装文件夹中的transforms.json文件复制到一个新文件夹。

• 使用ControlNet的m2m脚本（仅支持mp4视频）进行OpenPose、法线贴图、深度图ControlNet处理，并生成text2image而非image2image。

• 将生成的图像放入新文件夹的images文件夹中。

我正在使用一个预先计算好的数据集的transforms.json文件，应用于一个具有相同尺寸的新数据集。transforms.json文件包含所提供数据集的计算出的相机位置和提取的特征。如果新数据集中的图像与原始数据集具有相同的尺寸，使用该transforms.json文件即可用新图像构建相同模型。

尽管存在一些异常图像，但我认为instaNGP会忽略无法对齐的像素，只利用匹配的部分，因此我决定保留它们。

ControlNet使用教程

1. 将基础摄影测量图像转换为mp4视频

2. 设置提示词

3. 设置宽高，与你的视频保持一致

4. 设置Control Model - 0 为 OpenPose（保持图像为空）

5. 设置Control Model - 1 为 normal_map（保持图像为空）

6. 设置Control Model - 2 为 depth（保持图像为空）

7. 从脚本区域选择ControlNet的m2m脚本（如果你安装了ControlNet应该已有该脚本），并将你的mp4视频放入ControlNet-0

8. 将相同的mp4视频放入ControlNet-1

9. 将相同的mp4视频放入ControlNet-2

10. 点击生成，你的视频帧将开始处理 警告：请确保你已完全准备就绪，因为一旦开始就非常难停止。

11. 所有帧生成完成后，使用名为“Advanced Renamer”的程序将生成的图像重命名为与原始摄影测量图像匹配的名称。

12. 将新文件夹中images文件夹内的图像，复制到主要点中提及的新文件夹中。