ILL-to-REAL-Depth-2Pass

EA에 비용을 지불할 필요는 없습니다. 제가 제공한 샘플 중 하나를 ComfyUI 창에 그냥 드래그하면 됩니다. 하지만 이 워크플로우를 즐기셨다면 작은 BUZZ 기부를 고려해 주세요. 미리 감사드립니다.

소개

이 워크플로우는 어떤 애니메이션 스타일 체크포인트에서도 현실적인 데이터셋 쌍(이미지 + 캡션)을 생성하는 효과적인 방법을 보여줍니다. 최소한의 수정만으로도 다양한 체크포인트 아키텍처를 하나의 파이프라인에 통합하는 하이브리드 워크플로우를 구현할 수 있습니다. 애니메이션을 현실적인 이미지로 변환할 수 있습니다(제가 한 방식처럼) 또는 그 반대로, 현실적인 이미지를 애니메이션 스타일로 변환할 수도 있습니다. Illustrious 프리셋 체크포인트를 Flux, Qwen Image 또는 Z-Image(VRAM이 충분한 경우)로 교체하고, 현실적인 SDXL 체크포인트를 사용하여 텍스처를 강화하고 색상과 조명을 개선할 수 있습니다.

빠른 시작

1. "ANIME. PONY / ILL T2I POSITIVE PROMPT." 상자에서 기본 프리셋 프롬프트를 수정하세요.

2. "ANIME. PONY / ILL T2I POSITIVE PROMPT." 상자에서 공유 네거티브 프롬프트를 수정하세요.

3. "Realism. Quality / Style prompt" 상자에서 현실적인 스타일과 품질 프롬프트를 수정하세요.

4. 프리셋 및 현실적인 렌더링에 적합한 체크포인트를 선택하세요.

5. 실행 버튼을 누르세요.

선택한 모델과 원하는 애니메이션-현실적 변환 정도에 따라 KSampler 및 ControlNet 매개변수를 조정할 수도 있습니다.

작동 원리

현실적인 렌더링 단계는 ControlNet을 활용한 드래프팅으로 시작됩니다. 저는 Lineart나 SoftEdge ControlNet보다 더 나은 결과를 제공하는 Depth ControlNet을 사용했습니다. Depth 기반 변환은 100% 안정적이지 않다는 점에 유의하세요. 특히 복잡한 다중 캐릭터 구성에서는 해부학적 구조가 깨질 수 있지만, Lineart보다 훨씬 더 나은 결과를 제공합니다. Normal 기반 ControlNet 변환도 시도해 볼 수 있습니다.

따라서 현실적인 1PASS는 드래프트이며 동시에 Text-to-Image입니다. 저는 프리셋 애니메이션 스타일 이미지를 현실적인 드래프트 단계의 입력으로 사용하지 않습니다. 심지어 denoise 값을 1.0으로 설정해도 만화적인 색상과 스타일이 드래프트 결과에 너무 큰 영향을 미치기 때문입니다. 예를 들어 Illustrious 모델을 Flux 또는 현실적인 색상을 생성하는 다른 체크포인트로 교체한 경우, 드래프트 이미지를 현실적인 드래프트 입력으로 사용할 수 있습니다. 이 경우 현실적인 단계의 1PASS KSampler의 denoise 값을 조정해야 할 수도 있습니다. 실험해보고 피드백을 주세요.

현실적인 단계의 두 번째 패스는 단순합니다. 주로 해부학적 구조를 수정하고 텍스처를 개선하는 I2I HiRes 패스입니다.

PS: [AD] 이 워크플로우에서는 제가 초현실적인 텍스처와 디테일을 구현하기 위해 최대한 노력한 최신 CinEro NoiceAI 체크포인트(R7j RC2)를 사용했습니다. 시도해보고, 당신에게 효과가 있는지 알려주세요. 건설적인 피드백을 환영합니다. [/AD]