T2I & I2V ComfyUI Scenario + Subject Auto LoRA Workflow
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
ComfyUI 시나리오 + 주체 자동 LoRA 워크플로우
기본 워크플로우는 playtime_ai가 작성했습니다.
사용자 정의 LoRA는 주로 ChatGippity가 생성했습니다.
이 게시물의 대부분도 ChatGippity가 작성했습니다.
선택 가능한 주체와 시나리오를 지원하도록 수정되어, 적절한 LoRA 및 프롬프트를 자동으로 워크플로우에 삽입합니다.
이 버전은 단일 프롬프트만 작성하면, 캐릭터 LoRA와 장면/액션 LoRA를 동적으로 결합하여 다양한 시나리오에서 일관된 생성을 가능하게 합니다.
드롭다운 선택기를 사용하여 주체를 빠르게 선택하고, 미리 작성한 시나리오 LoRA 및 프롬프트를 적용할 수 있습니다.
예시:
playtime_ai의 최신 LoRA에는 훌륭한 프롬프트와 모델이 포함되어 있습니다. LoRA 파일을 다운로드하고, 내장된 워크플로우에서 프롬프트를 추출하세요(다시 말하지만, ChatGippity는 내장된 워크플로우를 가진 비디오에서 약 5초 안에 프롬프트를 자동으로 추출하고, 이를 무작위 프롬프트로 결합한 뒤 새 파일을 장면 프롬프트 폴더에 자동으로 추가하는 파이썬 스크립트를 만들 수 있습니다). 캐릭터 LoRA를 선택하면 끝입니다.
목적
나는 게으릅니다.
이 워크플로우는 반복적인 프롬프트 작성과 수동 LoRA 교체를 없애기 위해 설계되었습니다. 캐릭터 LoRA의 특성과 시나리오 LoRA(시나리오 파일에서)를 자동으로 병합합니다. 병합된 텍스트는 WAN 2.2 프롬프트를 통해 전달되며, LoRA는 비디오 생성을 위해 워크플로우에 로드되어 모든 장면에서 시각적 및 스타일적 일관성을 유지합니다.
이것은 캐릭터 LoRA에 2.1 버전, 액션/시나리오 LoRA에 2.2 버전을 사용한다는 전제를 두고 있습니다.
사용된 커스텀 노드
이 노드들은 아직 ComfyUI에 공개되지 않았습니다. 원하는 기능을 수행하는 기존 노드를 찾지 못해 직접 만들었습니다.
각 선택기 노드는 .txt 파일이 있는 로컬 폴더에서 읽어옵니다.
이 파일들은 LoRA 모델 이름, 프롬프트, 트리거를 정의하며, 자동으로 워크플로우에 로드됩니다.
나중에 이 노드들을 ComfyUI 카탈로그에 추가할 계획입니다. 그러나 그 시기는 제안 섹션의 첫 문장을 참고하세요.
예제 텍스트 파일 설정 (기본 구분자: #)
주체 파일 예시
파일 위치: custom_nodes/ComfyUI_subjectselector/SubjectFiles/
예제 경로는 Comfyui/models/loras/foldername 하위 폴더에 있는 사용자 정의 모델을 가리킵니다.
예: person\wan_2.1_exampleperson.safetensors는 Comfyui/models/loras/person\wan_2.1_exampleperson.safetensors에 위치합니다.
person\wan_2.1_exampleperson.safetensors
#
bodytype\wan_2.1_examplebody.safetensors
#
A confident woman with short hair wearing a leather jacket, standing in studio lighting.
시나리오 파일 예시
파일 위치: custom_nodes/ComfyUI_ScenarioSelector/ScenarioFiles/
position\wan_2.2_outdoor_high.safetensors
#
position\wan_2.1_outdoor_low.safetensors
#
The subject is walking down a city street at sunset with warm light reflecting off the windows.
워크플로우는 두 파일을 읽고 LoRA 모델을 병합하여 모델 흐름에 주입합니다. 설명적인 프롬프트는 통합된 프롬프트 블록으로 병합되며, 이 프롬프트는 WAN 2.2 텍스트-비디오 텍스트 인코더로 전달됩니다.
주요 기능
선택 가능한 목록을 통해 캐릭터와 장면을 자동으로 매칭
커스텀 노드 논리를 사용한 동적 프롬프트 병합
캐릭터 LoRA에는 wan 2.1, 액션/시나리오 LoRA에는 2.2 사용
Dynamic Prompts통합을 통한 프롬프트 랜덤화모델, 프롬프트 및 비디오 출력을 단계별로 그룹화한 깔끔한 레이아웃
폴더 구조 요약
ComfyUI/
├── custom_nodes/
│ ├── ComfyUI_subjectselector/
│ │ └── SubjectFiles/
│ │ ├── character1.txt
│ │ └── character2.txt
│ └── ComfyUI_ScenarioSelector/
│ └── ScenarioFiles/
│ ├── scene1.txt
│ └── scene2.txt
설치 명령이 필요하지 않습니다. 리포지토리를 클론하거나 파일을 다운로드한 후 폴더를 올리고 ComfyUI를 재시작하기만 하면 됩니다.
참고사항
이 워크플로우에는 playtime의 표준 모델 링크가 이미 포함되어 있습니다. 저는 이를 4단계 LoRA를 사용하도록 수정했습니다. 원하시는 대로 직접 선택하실 수 있습니다.
각 생성은 선택한 텍스트 파일에서 LoRA와 설명적 프롬프트를 동적으로 불러옵니다.
다양한 장면 간 캐릭터 일관성이나 일관된 시각적 정체성이 필요한 프로젝트에 유용합니다.