Wan2.2 animate Change character or background (long video)

이 워크플로우는 두 가지 주요 기능을 수행할 수 있습니다: 참조 이미지에서 캐릭터를 추출하여 참조 영상의 자세를 복사하면서 원래 배경을 유지하거나, 완전히 캐릭터를 참조 영상에 교체하여 동일한 동작을 수행하게 할 수 있습니다. 이 아이디어를 바탕으로, 나는 단순히 캐릭터의 머리만 참조 영상에 교체하는 테스트도 해보았으나, 결과에 일부 문제점이 아직 남아 있어 디버깅 중입니다. 좋은 해결책을 찾게 되면, 그 워크플로우도 공개하겠습니다. 이 워크플로우를 사용하는 데 있어 중요한 사항은 아래의 “워크플로우 테스트 및 사용 안내”를 참조하세요.

💻 이미 온라인으로 ➡️ 워크플로우를 설정해 드렸으니, 즉시 효과를 체험해보실 수 있습니다.

🎁 보너스: 처음 가입하시는 분들은 제 링크와 초대코드 ➡️ rh-v1182를 사용하면 1,000개의 무료 RH 코인을 받으실 수 있습니다. 또한 매일 로그인하면 추가로 100 RH 코인을 드립니다.

🚀 워크플로우 테스트 및 사용 안내:

1. 먼저, eddy가 여러 LoRA를 오픈소스로 공개해 주심에 진심으로 감사드립니다. 이 LoRA를 KJ의 Wan2.2 animate 워크플로우와 결합하면 캐릭터 일관성과 영상 동작 모두에서 뛰어난 성능을 발휘합니다. 특히 "lightx2v_elite_it2v_animate_face" LoRA는 이미 lightx2v 가속 기능이 내장되어 있으므로 다른 속도 향상 LoRA는 필요 없습니다. 이 LoRA는 참조 캐릭터의 일관성을 유지하는 데에도 도움이 되므로, 강도 값을 1.01.2 사이로 추천합니다. 참조 이미지의 캐릭터와 높은 일관성을 원하신다면 "WAN22_MoCap_fullbodyCOPY ED"에 대해 강도 0.350.5를 권장합니다. 반면, 참조 영상의 캐릭터에 더 가깝게 만들고 싶다면 강도 0.7~1이 더 적합합니다.

2. 이 워크플로우는 Wan2.2 모델과 SAMSegment를 로드해야 하므로 많은 VRAM이 필요합니다. 따라서 기본적으로 WanVideo Block Swap을 활성화했습니다. 제 테스트 결과, 전체 워크플로우는 24GB GPU에서도 실행 가능하지만, 더 부드러운 경험을 위해 RunningHub의 48GB GPU 사용을 권장합니다.

3. 다양한 유형의 참조 영상에 대해, 워크플로우 내에 두 가지 마스킹 방법이 사전 설정되어 있습니다. 이 중 하나만 선택하시면 됩니다. 참조 영상에 캐릭터가 단 하나일 경우 “단일 캐릭터 사용” 그룹을, 여러 캐릭터가 포함되어 특정 영역만 마스킹하고 싶다면 “다중 역할 사용” 그룹을 사용하세요.

4. 이 워크플로우는 일반적인 길이보다 긴 영상을 생성할 수 있지만, 30초를 넘는 영상 생성은 권장하지 않습니다. 제 테스트 결과, 20초 영상에서는 약 10초 지점부터 캐릭터 일관성이 점차 떨어지고 색조도 약간 변하는 경향이 있었습니다. 이는 컨텍스트 루프 과정에서 참조 영상의 영향이 계속 누적되기 때문으로 보입니다. 따라서 이 워크플로우로 생성하는 영상은 20초 내외로 유지하고, 30초를 넘지 않는 것이 좋습니다. 30초를 초과하면 예측 불가능한 품질 저하나 심각한 일관성 손실이 발생할 수 있습니다.

5. 보다 자세한 사용 방법은 워크플로우 내의 설명 노트를 참조하세요.