Cinema Diffuso XL

Cinema Diffuso

Cinema Diffuso(CD)는 캐릭터가 종종 움직임 중이며, 감정을 표현하고 주변 세계 및 다른 캐릭터와 상호작용하는 듯한, 마치 영화에서 그대로 나온 듯한 이미지를 생성하는 것을 목표로 하는 모델입니다.

저의 의도는 CD를 영화 제작자들이 생성형 AI를 활용할 때 img2vid 모델과 함께 선택할 수 있는 모델로 사용하는 것입니다.

CD 버전 0.3은 약 18~1900장의 이미지로 학습된 후, RealvisXL v5와 병합되었습니다.

샘플러 설정은 표준적인 dpmpp_sde/karras 조합 중 어느 것을 사용해도 추천합니다. CFG는 보통 5 이상으로 설정했으며, Perturbed Attention Guidance는 0.5에서 1.5 사이로 조정했습니다.

전시 이미지들은 모두 txt2img로 생성되었으며, CD가 학습한 태그들 중 일부를 골라 보여주는 것을 목적으로 합니다. 단, 일부 간단한 디테일링 노드 이상의 아웃페인팅 등은 수정하지 않았습니다. 이 모델의 최대 효율을 얻으려면 지역적 조건부 지정, ControlNet, IPAdapter와 같은 추론 기법을 잘 활용하는 것을 강력히 권장합니다.

베타 버전으로서 CD는 아직 제가 원하는 수준에远远 미치지 못하지만, 제가 처음으로 자체 모델을 만들기로 결심했을 때 원하던 수준에 놀라울 정도로 가까워졌습니다. 향후 버전에서는 더 다양한 포즈, 움직임, 행동, 장소 등이 추가될 예정입니다.

이 프로젝트에서는 일정 기간 동안 SDXL을 계속 사용할 가능성이 높습니다. SDXL은 매우 우수한 ControlNet 모델을 보유하고 있으며, 일부 최신 모델들에 비해 리소스 소모가 적기 때문입니다.