LoJack-Flux Pack
세부 정보
파일 다운로드
모델 설명
LojackFlux 워크플로우 팩
ComfyUI의 마스킹 및 스케줄링 시스템을 구현한 고급 Flux 기반 워크플로우 모음으로, 커스텀 모션 마스크 및 프롬프트 관리 시스템이 강화되었습니다.
레포지토리: [DJZ-Workflows/Lojack-Flux](https://github.com/MushroomFleet/DJZ-Workflows/tree/main/Lojack-Flux)
개요
이 워크플로우 팩은 Flux1 Schnell 파이프라인에 ComfyUI의 마스킹 및 스케줄링 기능을 적용하여, LoRA 적용 및 모델 가중치에 대한 정밀한 제어를 통해 복잡한 이미지 생성을 가능하게 합니다.
포함된 워크플로우
- LojackFlux-Mask
커스텀 모션 마스크를 사용한 동적 마스킹 시스템 구현
마스크 생성을 위한 흑백 기하학적 패턴 비디오 지원
모션 마스크 관리를 위한 통합 디렉토리 인덱스 선택기
정지 이미지 및 애니메이션 시퀀스 모두에 대한 프레임 선택 지원
)
- LojackFlux-Schedule
LoRA 및 모델 가중치 적용에 대한 시간적 제어 기능
다양한 스타일이나 모델 간 부드러운 전환 생성에 최적화
)
- LojackFlux-ComboBreaker
마스킹 및 스케줄링 기능을 결합
정밀한 제어를 통해 복잡한 다단계 이미지 생성 가능
)
핵심 기능
커스텀 통합 시스템
Zenkai Prompt List: 간소화된 프롬프트 관리 시스템
Project File Path System: 조직적인 파일 처리 및 출력 관리
모션 마스크 시스템:
디렉토리 기반 마스크 선택
프레임별 제어
정적 및 애니메이션 출력 모두 지원
모션 마스크 자산: [Lonely-Drivers-Pack](https://huggingface.co/mushroomfleet/Lonely-Drivers-Pack)
마스킹 시스템
마스킹 시스템을 통해 다음을 수행할 수 있습니다:
이미지의 특정 영역에 다른 LoRA 적용
다양한 영역에 걸쳐 여러 모델 가중치를 블렌딩
복잡한 패턴 생성을 위한 동적 모션 마스크 사용
아티팩트 방지를 위한 매핑되지 않은 영역 자동 처리
스케줄링 시스템
다음 사항에 대한 정밀한 제어를 가능하게 합니다:
LoRA의 시간적 적용
모델 가중치 전환
시간에 따른 강도 조정
모션 마스크 애니메이션과의 통합
애니메이션 기능 및 보간
프레임 보간 도구
)
이 워크플로우 팩에는 애니메이션 시퀀스를 향상시키기 위해 설계된 전용 보간 도구가 포함되어 있습니다. 이 도구는 다음 기능을 제공합니다:
플리커 방지 처리: 프레임 간 원치 않는 플리커를 줄이는 내장 메커니즘
부드러운 전환: 유동적인 움직임을 위한 지능형 프레임 보간
일괄 처리: 전체 애니메이션 시퀀스를 효율적으로 처리
프레임 속도 제어: 출력 애니메이션에 대한 유연한 FPS 조정
품질 제어: 보간 품질과 처리 속도 간 균형 조정
이 보간 시스템은 마스킹 및 스케줄링 워크플로우와 원활하게 작동하여 다음을 가능하게 합니다:
다양한 LoRA 적용 간 전환을 부드럽게 만들기
마스크 기반 애니메이션의 아티팩트 감소
예정된 가중치 변화로부터 더 자연스러운 움직임 생성
일관된 품질로 여러 애니메이션 세그먼트 처리
이 도구는 다음 상황에서 특히 유용합니다:
긴 애니메이션 시퀀스 생성
모션 마스크 전환 사용
단일 애니메이션 내에서 여러 스타일 변경 결합
프레임 시퀀스를 부드러운 비디오 출력으로 변환
기술적 세부사항
컨디셔닝 시스템
여러 컨디셔닝 쌍(긍정/부정) 지원
자동 마스크 검증 및 결합
매핑되지 않은 영역에 대한 기본 컨디셔닝 폴백
추가 제어 방법(ControlNet 등)과 호환
가중치 관리
동적 LoRA 강도 제어
모델 가중치 보간
여러 동시 LoRA 지원
자동 CLIP 및 모델 가중치 처리
고급 기술 기능
후크 체이닝: 체이닝 가능한 후크를 통한 여러 LoRA 지원
유연한 후크 조합: 서로 다른 영역에서 다른 후크 체인 사용 가능
자동 후크 적용:
apply_to_conds를 통한 간소화된 컨디셔닝강도 제어:
LoRA: 표준 강도 조정
모델을 LoRA로 사용: 강도 1.0은 대상 모델 가중치를 완전히 적용
베이스 모델과 대상 모델 간 가중 평균 지원
사용 팁
)
- 설치
다음 주소에서 클론 또는 다운로드: [https://github.com/MushroomFleet/DJZ-Workflows/tree/main/Lojack-Flux](https://github.com/MushroomFleet/DJZ-Workflows/tree/main/Lojack-Flux)
워크플로우를 ComfyUI 워크플로우 디렉토리에 배치
- 마스크 생성
[Lonely-Drivers-Pack 저장소](https://huggingface.co/mushroomfleet/Lonely-Drivers-Pack)에서 모션 마스크 다운로드
"ComfyUI\input\DJZ-Lonely-Drivers-Pack\" 폴더에 압축 해제
동적 마스크 생성을 위해 흑백 비디오 패턴 사용
여러 마스크 사용 시 완전한 커버리지 확보
매핑되지 않은 영역에는 기본 컨디셔닝 활용
- 스케줄링
가중치 전환을 신중히 계획
부드러운 결과를 위해 점진적인 강도 조정 사용
동적 효과를 위해 모션 마스크와 결합
- 파일 관리
모션 마스크를 지정된 디렉토리에 정리
일관된 결과를 위해 Zenkai Prompt List 사용
출력을 위한 프로젝트 파일 경로 구조 준수
요구 사항
Flux1 Schnell 파이프라인
최신 버전의 ComfyUI
올바르게 구조화된 모션 마스크 디렉토리
호환되는 LoRA 모델
Lonely-Drivers-Pack의 모션 마스크 자산
참고 사항
ComfyUI의 내장 마스킹 및 스케줄링 시스템 기반
Flux1 Schnell 파이프라인에 최적화
모든 표준 Stable Diffusion 모델과 호환
커스텀 모션 마스크 통합 기능이 강화됨
리소스
워크플로우 팩: https://github.com/MushroomFleet/DJZ-Workflows/tree/main/Lojack-Flux & /model/1021516/lojack-flux-pack
모션 마스크: https://huggingface.co/mushroomfleet/Lonely-Drivers-Pack
모션 마스크 예시
- 팩에는 총 56개의 모션 마스크가 포함되어 있습니다.
)
)
)
감사의 말
Flux 파이프라인에 맞춰 ComfyUI의 원본 마스킹 및 스케줄링 시스템을 개조하고, 추가적인 커스텀 기능과 통합을 더했습니다.
https://blog.comfy.org/masking-and-scheduling-lora-and-model-weights/
모션 마스크는 Lonely-Drivers-Pack에서 제공되었습니다.