AnimatedPonyReal

인센트와 어스의 사랑 모델을 빠르게 병합한 것으로, 몇 가지 임베딩과 함께 사용하면 예상보다 뛰어난 일회성 애니메이티드iffs 결과를 생성할 수 있습니다.

이 매우 간단한 모델은 권장되는 텍스트 임베딩과만 사용하여 512픽셀 이미지를 생성하도록 설계되었습니다(이 크기는 Hotshot이 가장 많은 움직임을 제공하는 크기입니다). 그런 다음 이 중 하나를 HotshotXL을 사용하여 직접 비디오로 변환하고, 최종적으로 샘플러를 통해 1K로 업스케일합니다. 이 T2I2V 프로세스는 여러 컨텍스트에 걸쳐 Hotshot의 일관성을 어느 정도 유지하지만, 일관된 움직임은 희생됩니다. 정확한 워크플로우를 위해 학습 데이터를 다운로드하고 ComfyUI에서 Json 파일을 로드하세요. 이 데이터에는 필요한 임베딩도 포함되어 있으며, ComfyUI/Models/Embeddings 폴더에 배치해야 합니다.

해당 워크플로우를 위해 영상을 다운로드하고 ComfyUI에 드래그할 수 있습니다. 노드 구조는 동일해야 하지만, 노이즈, 샘플러, LORA, 임베딩 등 일부 값은 다를 수 있습니다. 이 워크플로우는 사실적 또는 비사실적인 대부분의 페ony 체크포인트에서도 잘 작동하지만, 파라미터, 임베딩, 노이즈 값은 조정이 필요할 수 있습니다.

8-64개 이상의 프레임(1-8초)의 1K 영상을 약 2-8분 내에 생성하려면, HotshotXL, 일부 유틸리티 모델(VFI), 최소 10GB VRAM을 가진 GPU를 포함한 ComfyUI가 필요합니다.

불행히도, 이 영상들의 시간적 일관성은 평균적입니다. 움직임과 일관성 사이에는 어느 정도의 갈등이 있으며, 둘을 동시에 얻기 위해서는 운이 필요합니다. 좋은 결과를 얻기 위해 값을 조정하기보다는 시드를 변경하고 다른 장면을 시도하는 것이 일반적으로 더 낫습니다.

HotshotXL 다운로드:
https://huggingface.co/hotshotco/Hotshot-XL/tree/main
hsxl_temporal_layers.f16.safetensors 파일을 다운로드하여 ComfyUI/Models/animatediff_models 폴더에 배치하세요.