my samus instaNGP workflow

어떤 이유에서인지 이 컨텍스트 이미지를 업로드하는 데 어려움을 겪고 있어서 더 이상 시도하지 않기로 했습니다. 이미지가 삭제되거나 시청자에게 보이지 않지만, 그 이유를 알려주지도 않아서 수정할 수 없기 때문입니다. 그러니 더 이상 시도하지 않겠습니다.

혹시 이 작업을 하실 분이 계시다면, 댓글에 gif를 업로드해 주세요. 제가 새롭게 시도해 본 방식이고, 사람들이 이걸 어떻게 활용할지 보고 싶습니다.

여기서 혼동이 있는 것 같아 정리해 드리겠습니다. 신체에 페인팅된 버전의 이미지는 생성된 것이 아니라, 원래 instaNGP에서 transform.json을 생성할 때 사용했던 기초 포토그라메트리 이미지입니다.

또한,

NVIDIA의 instaNGP(또는 NeRF로도 알려져 있음)는 신경망 기반 포토그라메트리 소프트웨어로, 50~~160장의 이미지에서 30분~~1시간 내에 보통 300~500장 이상의 이미지가 필요했던 만족스러운 결과를 즉각적으로 생성합니다. 저는 단지 ControlNet을 사용해 포토그라메트리 이미지를 편집한 것입니다.

다운로드 파일에는 두 데이터셋(양말 바디페인팅 버전과 사누스 누드 버전)의 instaNGP 폴더와 각각의 transforms.json 파일이 포함되어 있습니다. 두 transform.json 파일은 완전히 동일합니다.

instaNGP를 사용해 바디페인팅 이미지를 처리했습니다.
바디페인팅 폴더의 transforms.json 파일을 새로운 폴더로 복사했습니다.
ControlNet M2M(MP4 동영상만 지원) 스크립트를 사용하여 OpenPose, Normal, Depth ControlNet을 적용하고, 이미지2이미지 대신 텍스트2이미지 생성 방식을 사용했습니다.
생성된 이미지를 새 폴더의 images 폴더에 넣었습니다.

저는 기존에 계산된 데이터셋의 transforms.json 파일을 새 데이터셋(크기가 동일함)에 적용하고 있습니다. transforms.json 파일에는 제공된 데이터셋의 계산된 카메라 위치와 추출된 특징이 포함되어 있습니다. 새 데이터셋의 이미지가 원래 데이터셋과 같은 크기를 가지면, 동일한 transforms.json 파일을 사용하여 새 이미지로도 동일한 모델을 구축할 수 있습니다.

어떤 이상한 이미지들이 있었지만, instaNGP가 일치하지 않는 픽셀을 무시하고 일치하는 부분만 활용하므로, 저는 그 이미지들을 그대로 보존하기로 했습니다.

ControlNet 사용 설명서