Qwen Next Scene LoRa

aliendalonealiendalone
13
92
#nextsceneaction#character#aiart#digitalart#animation#workflow#comfyui#imagetoimage
Qwen Next Scene

세부 정보

파일 다운로드

모델 설명

🎨 완전 가이드: ComfyUI에서 이미지 기반 다음 장면 생성

이 워크플로우는 입력 이미지를 바탕으로 연속적인 장면(다음 장면 생성)을 생성하면서 구성, 스타일, 분위기를 유지합니다. 만화, 스토리보드, 책 삽화 및 시각적 내러티브 제작에 이상적입니다. Qwen Image Edit 기반으로 개발되었으며, 특화된 LoRA 어댑터를 사용해 단 4단계로 초고속 생성이 가능합니다!

📦 시작 전 필수 구성 요소

1. 필수 모델 (필수!)

지정된 폴더에 다운로드 및 배치하세요:

📂 ComfyUI/

└── 📂 models/

├── 📂 diffusion_models/

│ └── qwen_image_edit_2509_fp8_e4m3fn.safetensors

├── 📂 loras/

│ ├── Qwen-Image-Lightning-4steps-V1.0.safetensors

│ └── next-scene_lora_v1-3000.safetensors

├── 📂 vae/

│ └── qwen_image_vae.safetensors

└── 📂 text_encoders/

└── qwen_2.5_vl_7b_fp8_scaled.safetensors

다운로드 링크:

2. 하드웨어 요구 사항

  • 최소: VRAM 8GB 이상 GPU

  • 권장: VRAM 12GB 이상 GPU (RTX 3080/4080 이상)

  • 디스크 공간: 모든 모델 약 3.5GB

  • RAM: 16GB 이상

🛠️ 단계별 설정 및 사용 방법

단계 1: 워크플로우를 ComfyUI에 임포트

  1. JSON 코드를 next_scene_generation.json 파일로 저장하세요.

  2. 브라우저에서 ComfyUI를 열세요.

  3. 빈 공간에서 마우스 오른쪽 버튼 클릭 → Load → 저장한 파일 선택

  4. 워크플로우가 올바른 설정으로 자동 로드됩니다.

단계 2: 소스 이미지 업로드

  1. 인터페이스 왼쪽에 있는 "단계 2 - 편집할 이미지 업로드" 그룹을 찾으세요.

  2. LoadImage 노드(분홍색 블록)를 클릭하세요.

  3. 📁 업로드할 이미지 선택 버튼을 누르세요.

  4. 컴퓨터에서 이미지를 선택하세요.

    • 지원 형식: PNG, JPG, JPEG, WEBP

    • 권장 해상도: 512×512 ~ 1280×720 픽셀

    • 팁: 소스 이미지의 품질이 높을수록 결과가 더 좋습니다.

단계 3: 모델 로드

  1. 모든 모델이 ComfyUI 폴더에 올바르게 설치되었는지 확인하세요.

  2. "단계1 - 모델 로드" 그룹에서 다음을 확인하세요:

    • UNETLoader 노드에서 모델 qwen_image_edit_2509_fp8_e4m3fn.safetensors가 선택되었는지 확인

    • CLIPLoader 노드에서 다음을 선택하세요:

      • 모델: qwen_2.5_vl_7b_fp8_scaled.safetensors

      • Clip Type: qwen_image

    • VAELoader 노드에서 모델 qwen_image_vae.safetensors가 선택되었는지 확인

  3. 모델이 제대로 로드되지 않으면 설치 후 ComfyUI를 재시작하세요.

단계 4: LoRA 어댑터 설정 (매우 중요!)

  1. 첫 번째 LoraLoaderModelOnly 노드에서:

    • Qwen-Image-Lightning-4steps-V1.0.safetensors 선택

    • Strength Model: 1.0 (최대 영향력)

  2. 두 번째 LoraLoaderModelOnly 노드에서:

    • next-scene_lora_v1-3000.safetensors 선택

    • Strength Model: 0.8 (균형 잡힌 권장 값)

  3. 중요: LoRA 어댑터 적용 순서를 절대 바꾸지 마세요! 먼저 Lightning, 그 다음 next-scene 순서로 적용하세요.

단계 5: 프롬프트 작성 (핵심 단계!)

  1. TextEncodeQwenImageEditPlus 노드(파란색 블록)를 찾으세요.

  2. 프롬프트 입력란에 **"Next Scene:"**로 시작하는 텍스트를 입력하세요.
    올바른 프롬프트 예시:

    Next Scene: The camera holds a tight close-up on the man's face as he lies in bed, eyes open. His head rests near the lower right corner of the frame, with the pillow sketched in soft, curved lines. The rest of the canvas is empty, emphasizing the quiet of morning.

    효과적인 프롬프트 작성 규칙:

    • 항상 **"Next Scene:"**로 시작하세요 (LoRA의 필수 조건)

    • 카메라 각도 명시: "close-up", "wide shot", "medium shot", "low angle"

    • 조명 설명: "morning light", "dramatic shadows", "soft golden hour glow"

    • 분위기 변화 기술: "light morning mist", "gentle breeze moving the curtains"

    • 연속성 유지: 소스 이미지의 요소 언급

    • 구체적 세부 사항 사용: 캐릭터 자세, 물체 배치, 감정

  3. 부정적 프롬프트(CLIPTextEncode 노드):

    • 기본 버전은 비워두세요.

    • 또는 다음을 추가: deformed, blurry, low quality, distorted perspective, extra limbs

    • 권장 CFG 값: 1.0 (LoRA 특성상 매우 낮음)

단계 6: 이미지 치수 확인

  1. GetImageSize 노드가 소스 이미지의 치수를 자동으로 감지합니다.

  2. EmptySD3LatentImage 노드가 동일한 크기의 잠재 공간을 생성합니다.

  3. 중요: 비율을 변경하려면 EmptySD3LatentImage 노드의 가로/세로 값을 수동으로 수정하고 입력 링크를 끊으세요.

단계 7: 생성 파라미터 설정

  1. KSampler 노드(주황색 블록)를 찾으세요.

  2. 핵심 파라미터 확인:

    • Steps: 4 (변경 금지, LoRA 최적값)

    • CFG: 1.0 (매우 낮음, 품질에 필수)

    • Sampler: euler

    • Scheduler: simple

    • Noise Seed: randomize (재현성 필요 시 숫자 지정)

  3. 워크플로우 경고: Steps와 CFG 값을 임의로 증가시키지 마세요! LoRA 어댑터 기능이 손상됩니다.

단계 8: 생성 시작

  1. 인터페이스 오른쪽 상단의 QUEUE PROMPT 버튼을 클릭하세요.

  2. ComfyUI 콘솔에서 진행 상황을 모니터링하세요:

    • 첫 번째 모델 로드 (1015초)

    • 생성 실행 (RTX 3090/4090 기준 보통 5~15초)

  3. 오른쪽의 SaveImage 노드에 완성된 이미지가 표시됩니다.

  4. 결과는 자동으로 ComfyUI/output/ComfyUI/ 폴더에 저장됩니다.

🎯 최고 품질을 위한 팁

1. 다음 장면을 위한 프롬프트 규칙

프레임 간 최대 연속성을 위해:

  • 카메라 설명으로 시작:
    "Next Scene: The camera slowly pulls back to reveal..."
    "Next Scene: Switching to a low angle shot, we see..."

  • 핵심 요소 유지:
    "Next Scene: Maintaining the same warm sunset lighting, the character now stands near a window..."

  • 캐릭터 움직임 명시:
    "Next Scene: The woman has turned her head slightly to the left, her expression now showing concern..."

  • 극단적 변화 피하기: 설정, 조명 스타일, 각도를 불필요하게 완전히 변경하지 마세요.

2. 하드웨어 최적화

  • 약한 GPU(8GB VRAM) 사용 시:

    • 소스 이미지 해상도를 768×512로 줄이세요.

    • SaveImage 노드에서 미리보기를 비활성화하세요.

  • 강력한 GPU(24GB 이상 VRAM) 사용 시:

    • 해상도를 1280×720까지 올릴 수 있습니다.

    • 병렬 생성을 위해 배치 크기=2를 사용하세요.

3. 일반적인 문제 및 해결책

  • 문제: 흐릿하거나 품질 낮은 결과
    해결: 올바른 VAE(qwen_image_vae.safetensors) 사용 여부 확인, 소스 이미지 품질 점검

  • 문제: 소스 이미지와 결과 간 연결 부족
    해결: 프롬프트에 소스 프레임의 구체적 세부사항을 더 추가

  • 문제: 아티팩트 또는 왜곡
    해결: 두 번째 LoRA 강도를 0.6~0.7로 줄이세요

  • 문제: "CUDA out of memory"
    해결: 이미지 해상도를 줄이거나 ComfyUI를 재시작하여 메모리 초기화

4. 고급 기술

  • 미니 애니메이션 생성(3~5프레임):

    1. 첫 번째 다음 장면 생성

    2. 결과를 저장하고 새로운 소스 이미지로 업로드

    3. 프롬프트 수정: "Next Scene: Continuing the movement, the character now..."

  • 스타일 블렌딩:

    • 프롬프트에 스타일 지시어 추가: in the style of impressionist painting, with cinematic bokeh

    • 두 번째 LoRA 강도(0.5~1.0)를 조절하여 스타일 영향력을 실험

  • 파노라마 장면 생성:

    • 프롬프트 사용: "Next Scene: The camera pans horizontally to reveal..."

    • 생성된 이미지를 파노라마 스티칭 도구로 후처리

      🌟 효과적인 프롬프트 예시

      각도 변경:

      Next Scene: The camera pulls back to a medium shot, revealing the character standing on a cliff edge overlooking a misty valley at dawn. The morning sun casts long shadows behind him, highlighting the texture of his coat. The composition maintains the same left-to-right balance as the previous scene.

      동작 연속:

      Next Scene: Following the character's movement, we now see him stepping through an ancient stone archway into a sunlit garden. The camera angle remains consistent, but the lighting shifts to warm afternoon tones. Butterflies flutter around blooming flowers in the foreground, maintaining the soft dreamlike atmosphere of the previous frame.

      시간대 변경:

      Next Scene: The scene transitions to night time. The same character sits by a window, but now illuminated only by candlelight and moonbeams. Outside, stars are visible in the clear night sky. The camera maintains the same close-up framing, but the color palette shifts to deep blues and warm yellows, preserving the emotional tone of quiet contemplation.

🚀 결론 및 최선의 실천 방법

이 워크플로우는 시각적 내러티브 생성의 혁신적인 접근법을 제공합니다. 성공을 위한 핵심 원칙:

  1. 소스 이미지 품질이 중요 – 선명하고 조명이 좋은 사진 사용

  2. 프롬프트 작성은 예술 – 구체적이고 연속적인 설명을 연습

  3. 기술적 제한 존중 – 4단계와 CFG=1.0은 임의의 값이 아니라 LoRA에 최적화된 값

  4. 조명과 각도 실험 – 극단적인 콘텐츠 변경은 피하세요

  5. 중간 결과 저장 – 연속적인 스토리 생성에 활용

프로 팁: 전체 만화 또는 스토리보드 생성 시:

  • 3~5개의 연속 프레임 생성

  • Photoshop 또는 Canva 등 소프트웨어로 내보내기

  • 대사 버블, 전환, 색상 보정 추가

  • PDF 또는 PNG 시퀀스로 저장하여 애니메이션 제작

🎉 축하합니다! 이제 시각적 스토리를 생성하는 강력한 도구를 갖추셨습니다. 간단한 장면부터 시작해 점차 복잡성을 높이세요. 최고의 결과는 워크플로우 기능을 깊이 이해하고 프롬프트를 정밀하게 구성할 때 얻어집니다.

P.S. 실험을 잊지 마세요! 좋아하는 영화의 스크린샷을 업로드하고, 이 이야기의 다음 장면이 어떻게 보일지 상상해보세요. 영감은 창작 과정에서 자주 찾아옵니다! ✨🎬

이 모델로 만든 이미지

이미지를 찾을 수 없습니다.