LOKI - Live Portrait w/ Video BG + Fastest Face Swap + Batch Modes
세부 정보
파일 다운로드
모델 설명
Video tba
V5 버전 신규 /Loki-Multiperson/
Loki-Faceswap-Multi-2 (2인용)
Loki-Faceswap-Multi-3 (3인용)
정적 및 비디오 배경을 교체한 라이브 포트레이트.
V4 버전 신규 - /Loki-combineLayers/
Loki-LivePortrait-StaticBG
Loki-LivePortrait-videoBG
(참고: 이 기능은 연구용/비상업용 라이선스인 InsightFace 구현체를 기반으로 개발되었습니다. 현재 새로운 오픈소스 구현체가 등장했으며, 향후 버전에서는 이를 활용할 예정입니다.)
LOKI - ComfyUI 최고속 페이스 스왑
업데이트 V27 - LOKI 패키지에 MimicMotion 지원 추가.
업데이트 V12 - LOKI 패키지에 LivePortrait 지원 추가.
릴리즈 V8 - 최초 출시: 가장 빠른 페이스 스왑 (모든 기능 통합) 워크플로우.
예시로, LOKI 페이스 스왑을 사용하여 캐릭터용 얼굴 모델을 생성한 후, Trio-Tpose를 사용하여 해당 얼굴 모델로 캐릭터를 생성할 수 있습니다. 라이브 포트레이트는 입술 동기화 애니메이션에, MimicMotion은 캐릭터 포즈 애니메이션에 사용할 수 있습니다.
Mimic Motion 사용법:
드라이빙 영상으로 이미지의 머리/얼굴을 애니메이션화하고, 소스의 프레임률에 맞춰 오디오를 포함한 비디오를 저장합니다.
말하는 얼굴의 영상 사용
(패키지에 드라이빙 영상 포함)애니메이션할 캐릭터 이미지 사용
(패키지에 T-pose 이미지 포함)워크플로우 실행 시 비디오 생성
(옵션) 보간 유형 전환
보간 시 프레임률 일치 관련 주의사항 참고
필요 모델:
노드: (매니저 사용)
https://github.com/kijai/ComfyUI-MimicMotionWrapper
모델:
https://huggingface.co/Kijai/MimicMotion_pruned/tree/main
- 모두 /models/mimicmotion/ 폴더에 저장
또한 Diffusers SVD XT 필요
https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1/tree/main
- /models/diffusers/stable-video-diffusion-img2vid-xt-1-1/ 폴더에 저장
- "svd_xt_1_1.safetensors" 파일을 /models/diffusers/ 폴더로 이동
모든 내용은 영상에서 설명됩니다 :)
Live Portrait 사용법:
이제 LOKI-LivePortrait를 사용하여 캐릭터 이미지와 스마트폰, 웹캠 또는 기타 장치로 촬영한 비디오 채팅 영상을 활용해 캐릭터를 애니메이션화할 수 있습니다.
드라이빙 영상으로 이미지의 머리/얼굴을 애니메이션화하고, 소스의 프레임률에 맞춰 오디오를 포함한 비디오를 저장합니다.
말하는 얼굴의 영상 사용
(패키지에 드라이빙 영상 포함)애니메이션할 캐릭터 이미지 사용
(패키지에 T-pose 이미지 포함)워크플로우 실행 시 비디오 생성
필요 모델:
https://huggingface.co/Kijai/LivePortrait_safetensors/tree/main
위 링크에서 모든 모델을 다운로드하여 /models/liveportrait 폴더에 저장하세요. 자세한 설명과 데모는 Loki LivePortrait 영상에서 확인하세요.
위 내용: V12-LivePortrait 워크플로우
아래 내용: V8-FaceSwap 워크플로우
모든 필요한 노드 및 모델은 Launcher에서 제공되거나, 영상 설명에서 확인할 수 있습니다. 예: 처음 SUPIR 업스케일러를 설정하는 방법.
기사로 이동: https://civitai.com/articles/5915
참고: SUPIR은 일괄 모드의 업스케일링에 사용되지 않습니다. 매우 오래 걸립니다! 일반적인 방법으로 비디오를 조합한 후 업스케일링을 실험할 수 있습니다.