bTeam + IPAdapter + HotShotXL + Lightning + ControlNet

Latent Vision의 "_가중치 스케줄링 및 IPAdapter를 사용한 애니메이션" 튜토리얼을 기반으로, SDXL과 HotShotXL에 맞게 업데이트 및 최적화되었습니다. 먼저 해당 튜토리얼을 시청하세요.

QRMonster 모델은 너무 크므로, 이를 canny 및 depth small로 대체하면 VRAM을 절약하면서 유사한 결과를 얻을 수 있습니다. 또한 HotShotXL의 f16 버전을 사용하면 추가로 VRAM을 절약할 수 있습니다. 절약된 VRAM을 통해 렌더링 해상도를 더 높일 수 있습니다. 16GB로는 1280x720을 생성한 후 하이레즈 픽스(2배 후 0.65)를 통해 2차 렌더링을 1664x936까지 가능합니다. IPAdapter를 사용하지 않으면 더 높은 해상도의 렌더링도 가능했습니다. VRAM이 더 많다면 이 한계를 더 높일 수 있을 것입니다.

두 번째 패스에 FreeInt를 추가하거나 설정을 변경하고 싶은 경우를 대비해 두 번째 Animatediff 노드 세트가 제공됩니다. 일관성을 약간 희생하고 속도를 높이기 위해 컨텍스트 오버랩을 조정할 수 있습니다(두 설정이 동일한지 확인하세요). 원한다면 컨트롤 넷을 생략하고 단순히 이미지만 사용할 수도 있습니다. 텍스트 이미지를 비디오로 교체하여 vid2vid를 구현하는 것도 비교적 쉽게 가능합니다. 샘플러를 실험해 보세요. 제 경험상 대부분의 체크포인트에서 원형 노멀 샘플러가 가장 효과적입니다.

참고: 두 번째 패스로 전환할 때 종종 메모리 부족 오류가 발생합니다. 일반적으로 다시 큐에 넣으면 계속 진행할 수 있습니다.