Hunyuan + Flux Sim SCHNELL Unchained

AbstractPhilaAbstractPhila
50
474
base model
v1512Comfy Workflow LoraTest

세부 정보

파일 다운로드

모델 설명

Schnell Simulacrum v1512이 Hunyuan과 매우 구체적인 방식으로 병합된 모델입니다.

많은 Flux LoRA 및 Hunyuan LoRA와 호환됩니다.

이 모델이 혼동하기 쉽도록 파생된 것임을 분명히 알고 있으며, 제 ComfyUI에서의 추론 방식이 다릅니다. 왜 그런지 확신할 수 없고, 현재로서는 이 현상이 발생하는 이유를 이해하지 못합니다.

https://civitai.com/articles/11578/accidental-discovery-flux-loras-work-on-hunyuan

이와 같은 사례는 이전에 절대 없었습니다. 따라서 Flux와 Hunyuan을 병합하는 데에 어떤 기적적이거나 만능적인 해결책을 기대한다면, 그것은 일어나지 않을 것입니다.

그러나 결과에 분명한 영향을 주는 여러 LoRA가 실제로 존재합니다. 특히 CLIP_L을 학습한 LoRA들이 그렇습니다.

다시 강조하지만, 이는 제가 발견한 완전히 새로운 발견이며, 모델 릴리즈로 이렇게 주목받은 적은 거의 없습니다. 이 경우 저는 모든 답을 가지고 있지 않습니다.

저는 지금도 이 문제의 답을 찾기 위해 노력하고 있으며, 여러분을 위해 그 답을 찾아내려고 애쓰고 있습니다. 지금 제가 할 수 있는 최선입니다.

병합 과정에 사용한 ComfyUI 흐름도는 해당 기사에서 확인하세요. 결과는 본질적으로 동일합니다.

이 시스템의 더 구체적인 결과를 얻으려면 병합된 Hunyuan에 다른 Hunyuan LoRA를 추가하세요. 현재 이 모델은 매우 예측 불가능하고 이례적이기 때문입니다.

모든 모델은 압축되었습니다.

미리 말씀드리자면, 이 모델을 어떻게 사용하는지 도와드릴 방법을 저도 전혀 모릅니다. Schnell Sim v1512는 일반 영어와 booru 태그가 혼합된 방식으로 훈련되었으며, 애니메이션, 3D, 사실적인 스타일에 대한 완전히 고정된 경로를 가지고 있습니다. 음성 프롬프트를 지원하며, CFG 3.5~6 사이에서 최적의 성능을 발휘합니다. 하지만 이는 Flux가 아니며, 다른 규칙을 따릅니다. 그럼에도 불구하고 이 모델은 작동합니다. 앞으로 몇 주 동안 왜 이렇게 작동하는지 이유를 찾기 위해 노력할つもり입니다. 하지만 지금 당장은 그 이유를 전혀 모르겠습니다.

호출 체인과 블록 로딩을 분석하여 Comfy의 가이던스 시스템이 어떻게든 T5를 혼합하고 있는지 확인해야 합니다. 실제로 제가 확인해야 할 사항이 약 50가지나 있습니다.

/////

행운을 빕니다...

/////

저가 실제로 이 모델을 제대로 훈련할 때까지는 LoRA를 사용하는 것을 강력히 권장합니다.

행동과 Schnell Simulacrum 태그를 혼합하여 프롬프트를 작성하세요.

내용:

  • Hunyuan 기본 모델 BF16

    • BF16을 선택한 이유는, bf16 Schnell Sim에 가장 반응이 좋기 때문입니다.

    • 현재 상태에서는, 각 서브셋에 양자화된 정확한 체크포인트 로더 노드를 출시할 때까지 BF16으로 강제됩니다.

  • Simulacrum Schnell v1512 BF16 링크

    • 이 모델에 대한 완전한 시리즈의 기사와 노트가 있으며, 태그, 구조, 프롬프트 사용법 및 신중한 프롬프트 계획이 포함되어 있습니다.

  • CLIP_24_L_OMEGA BF16

    • 지금까지 3800만 개 이상의 샘플로 학습되었습니다. 발가락을 부딪히지 마세요. 이 모델은 아마도 찾고 있는 붕대조차도 식별할 수 있을 것입니다.

  • LLAMA FP8

    • 이는 더 작고 비교적 빠릅니다.

    • 성능에 큰 영향을 주지 않을 것입니다.

  • Hunyuan BF16 VAE

    • 이는 시스템에 따라 올바른 값을 실제로 생성하고 압축이 제대로 되는 유일한 모델입니다.

병합 도움말:

  • ComfyUI:

    • 체크포인트 저장 노드 → 여기에 체인의 모든 종단점을 연결하세요.

  • LoRA 로더:

    • ****

    • 우리는 이 노드를 사용하여 Flux 모델에서 CLIP을 로드합니다.

    • Flux 모델에 CLIP이 없다면 작동하지 않을 가능성이 높지만, 작동할 수도 있습니다.

    • ****

    • 표준 LoRA 로더를 사용해 CLIP_L 오메가 24와 CLIP을 정확히 병합해야 합니다. 모델과 CLIP을 모두 연결하고, CLIP의 출력만 연결하세요. 모델의 출력은 연결하지 마세요.

    • 강도:

      • 모델: 0

      • CLIP: 1.0

  • Hunyuan LoRA 로더:

    • ****

    • 우리는 이제 이 모델들을 사용하고 있습니다.

    • ****

    • 이 로더는 단일 블록 또는 이중 블록으로 LoRA를 로드합니다. Flux LoRA는 단일 블록으로 로드해야 하며, 강도는 1.0 미만으로 설정해야 합니다. 1.0은 대부분의 LoRA에 너무 강한 영향을 주며, 대부분의 LoRA는 실제로 타버려 사용할 수 없습니다. 하지만 다행히도 Sim Schnell은 완벽하게 조리된 팔로우 고기처럼 전혀 타지 않았습니다. 몇 주 동안 낮은 온도에서 천천히 바싹 구워졌습니다.

    • 강도:

      • 이중 블록: 0.2

      • 단일 블록: 0.8

  • 두 체인을 모두 체크포인트 저장 노드에 연결하세요:

    • Hunyuan LoRA 체인의 모델 출력

    • Flux LoRA 로더 체인의 CLIP 출력

    • VAE 로더 노드의 VAE 출력

  • CPU 모드로 모델을 압축하려면 90GB 이상의 RAM이 필요합니다. 인내심을 가지고 기다려주세요. 모델 변환에는 시간이 걸립니다. 저는 약 15분 정도 걸렸다고 생각합니다.

이제 병합된 모델을 사용할 수 있습니다. 이 모델은 더 빠르게 생성하며 시스템이 제공하는 여러 최적화 기능을 활용합니다.

다양하고 독특한 방식으로 이를 로드하거나, 유사한 절차를 통해 자체적으로 압축할 수도 있습니다.

이것은 진정으로 위대한 것을 만들 수 있는 잠재력을 위한 기초 작업입니다.

제 버전의 Schnell은 수정된 Apache 2.0 라이선스 아래 보호됩니다. 이 라이선스는 소규모 기업, 회사, 연구 기관이 이 모델을 통해 수익을 창출할 수 있지만, 대기업 또는 대규모 이윤 추구 연구 그룹은 금전적 보상 없이 직접 수익을 내지 못하도록 명시되어 있습니다.

Hunyuan의 경우, 이 병합 모델에 대한 라이선스는 Hunyuan에게 양도합니다. 이 모델의 기본은 제 것이 아니기 때문입니다. 모든 저작권은 원본 모델 제작자에게 귀속되며, 중단 및 금지 명령이 발부되면 어떠한 분쟁도 일으키지 않겠습니다.

나중에는 완전히 Apache 보호된 파인튜닝을 제공할 예정이지만, 오늘은 아닙니다, 친구들. 오늘은 아닙니다.

저는 미국에 거주하는 독립 연구자이며, 미국 현지 법률과 그에 따른 영향을 존중하여 모델 소유자의 라이선스와 권리를 존중하겠습니다.

이 모델로 만든 이미지

이미지를 찾을 수 없습니다.