요약

이 워크플로우는 "이미지에서 영상으로" 변환을 지원하는 다양한 기술을 비교하기 위한 실험으로 제작되었습니다. 실제로 이 워크플로우는 단일 이미지에서 시작하여 다음 네 가지 기술을 하나의 동영상에 합성하여 비교할 수 있습니다:

• AnimateLCM

• SVD XT 1.1

• ToonCrafter

• FILM Interpolation

ToonCrafter 및 FILM Interpolation은 양호한 결과를 생성하기 위해 최소 두 프레임이 필요하므로, SVD에서 생성된 마지막 프레임을 IPAdapter와 ControlNet을 사용한 img2img 프로세스에 입력하여 스타일과 구성 일관성을 유지하면서 SVD로 인해 발생하는 "버닝" 효과를 수정합니다.

이 워크플로우는 주로 SDXL용으로 설계되었지만(AnimateLCM 제외), SD1.5에도 쉽게 조정할 수 있습니다.

워크플로우는 ComfyUI 출력 폴더 내에 오늘 날짜로 명명된 하위 폴더 vidcmp에 모든 중간 영상과 최종 합성 결과를 출력합니다.

이 워크플로우는 VRAM 24GB를 갖춘 RTX 3090에서 테스트되었습니다.

사용 방법

기본 이미지

이것은 워크플로우의 시작 지점입니다. 기본 모델, LoRA, 이미지 해상도 등을 선택하고, 긍정적 및 부정적 프롬프트를 구성하는 곳입니다. 아래는 이 워크플로우에서 생성된 기본 이미지 예시입니다:

AnimateLCM

이 부분은 AnimateLCM 영상을 생성합니다. 희소한 스케치 ControlNet과 IPAdapter Tiled를 사용하여 생성된 영상이 원본 이미지에 맞춰지도록 합니다. 더 많은 자유도를 부여하려면 가중치를 줄이세요. 또한 동작을 증가 또는 감소시키기 위해 Mutival Dynamic 노드를 조정할 수 있습니다.

이 그룹에는 두 번의 샘플링 단계와 최종 업스케일링 단계가 포함되어 있어, 영상을 원래 해상도로 복원합니다.

SVD XT 1.1

이 그룹은 SVD XT 1.1 기술을 사용하여 영상을 생성하고, 업스케일링 단계를 함께 적용합니다.

LastFrameFix

이 그룹의 유일한 목적은 SVD 영상의 마지막 프레임을 가져와 img2img를 사용하여 재렌더링하여 품질을 향상시키는 것입니다. SVD 영상은 종종 끝부분에서 과도한 왜곡과 버닝 현상이 발생하기 때문입니다.

이 그룹은 깊이(Depth)와 캐니(Canny) 두 개의 ControlNet과 스타일을 유지하기 위한 IPAdapter를 사용합니다.

그래프 내 비교 노드를 사용하여 이 그룹에 의해 개선되기 전후의 이미지를 비교할 수 있습니다.

ToonCrafter

이 그룹은 ToonCrafter 영상을 생성합니다. 메모리 부족 오류가 발생하면 워크플로우를 재실행하거나 "ImageScaleToTotalPixels" 노드의 이미지 해상도를 줄이세요.

이 그룹은 두 개의 이미지를 입력으로 사용합니다: 워크플로우 시작 시 생성된 기본 이미지와 SVD XT에서 개선된 마지막 프레임입니다.

또한, ToonCrafter는 네 가지 기술 중 유일하게 고정된 16프레임만 생성할 수 있습니다. 이 워크플로우는 AnimateLCM과 SVD XT가 생성한 프레임 수에 맞추기 위해 배치를 반복하여 처리합니다.

FILM

이 그룹은 FILM 프레임 보간 영상을 담당합니다. 두 개의 이미지를 입력으로 사용합니다: 워크플로우 시작 시 생성된 기본 이미지와 SVD XT에서 개선된 마지막 프레임입니다.

최종 합성

이 그룹은 네 가지 img2video 기술을 비교하는 2x2 영상을 생성하고, 모든 영상을 하나의 최종 영상으로 결합합니다.