my samus instaNGP workflow

ある理由でこのコンテキスト画像のアップロードに苦戦しているので、もう試すのをやめます。画像は削除されるか、閲覧者が見ることができず、理由も教えてもらえないので修正できません。そのため、もう挑戦しません。

もしやると決めたなら、コメントにGIFをアップロードしてください。これは私が試した新しい手法であり、人々がどう活用するか見てみたいと思っています。

ここで混乱が生じているようなので明確に説明します。ボディペインティング版の画像は生成されたものではなく、元々 instaNGP で transform.json を生成するために使用した基底の写真測量画像です。

また、

NVIDIA の instaNGP（いわゆる NeRF）は、神経写真測量アプリケーションであり、50～160枚の画像から30分～1時間で3D密度の高い点群を即座に生成できます。通常、同等の結果を得るためには300～500枚の画像が必要とされます。私はただ、写真測量画像を ControlNet を使って編集しました。

ダウンロード内容には、両データセット（サムスのボディペインティングとサヌスのヌード）用の instaNGP フォルダがあり、それぞれの transforms.json ファイルが含まれます（両方の transforms.json は完全に同じです）。

• InstaNGP を使って、ボディペインティング画像を処理。

• ボディペインティングフォルダの transforms.json ファイルを新しいフォルダにコピー。

• ControlNet の m2m（MP4動画のみ対応）スクリプトを使用し、OpenPose、Normal、Depth ControlNet を適用し、Image2ImageではなくText2Imageを生成。

• 生成された画像を新フォルダの images フォルダに配置。

新しいデータセットに対して、元の計算済みデータセットの transforms.json ファイルを使用しています。transforms.json ファイルには、提供されたデータセットのカメラ位置と抽出された特徴が含まれています。新しいデータセットの画像が元のデータセットと同じ寸法であれば、この transforms.json ファイルを使って同じモデルを新しい画像で構築できます。

多少奇妙な画像がいくつかありましたが、instaNGP は一致しないピクセルを無視し、一致する部分だけを活用する仕組みのため、そのまま残すことにしました。

ControlNet でのチュートリアル

1. 基底の写真測量画像をMP4動画に変換します。

2. プロンプトを指定します。

3. 動画と同じ幅・高さに設定します。

4. Control Model - 0 を OpenPose に設定（画像は空のまま）。

5. Control Model - 1 を normal_map に設定（画像は空のまま）。

6. Control Model - 2 を depth に設定（画像は空のまま）。

7. スクリプトセクションから controlnet m2m スクリプトを選択します（ControlNetを導入済みなら存在するはず）。MP4動画を ControlNet-0 に配置してください。

8. 同じMP4動画を ControlNet-1 に配置。

9. 同じMP4動画を ControlNet-2 に配置。

10. 【Generate】をクリックします。動画のフレームが処理を開始します。警告：開始したら非常に止めにくいため、確実に準備ができていることを確認してください。

11. すべてのフレームが生成されたら、「Advanced Renamer」というプログラムを使って、生成画像の名前を元の写真測量画像の名前と一致させる。

12. 上記の主な箇条書きで示した新しいフォルダ内の images フォルダに、画像をコピー。