PonyDiffusion Quality Slider
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
이 모델은 "품질"을 향상시킵니다
지금 당신은 "품질"이 무엇인지 궁금할 수 있습니다. 불행히도 저는 이 질문에 직접적으로 답할 수 없습니다. 그러나 이 모델은 Pony Diffusion V6 XL이 사용하는 끔찍한 품질 태그 몬스터로 생성된 이미지로 학습되었지만, 캡션에는 품질 태그가 포함되지 않았다는 점을 알려드릴 수 있습니다. 즉, 이 모델은 품질 태그를 추가하지 않고도 품질 태그를 추가한 것처럼 출력을 모방하도록 학습되었습니다.
왜 이렇게 했나요?
품질 태그가 너무나 비현실적으로 길고 제어가 매우 어려웠다는 사실에 매우 실망했기 때문에, 슬라이더로 품질을 제어할 수 있는 LoRA를 만들기로 결정했습니다. 이를 통해 품질 제어에 더 정교하고 다양한 접근이 가능해지며, 동시에 프롬프트의 토큰을 절약할 수 있습니다(이는 주의력에서 원치 않는 BREAK를 피하는 데 유용합니다).
어떻게 만들었나요?
저는 GitHub의 P1atdev가 LECO 논문을 바탕으로 개발한 LECO 학습 스크립트를 사용하여 이 모델을 학습했습니다. LECO 학습 과정은 임의의 노이즈 제거 강도로 이미지를 생성한 후, 특정 개념을 프롬프트로 입력했을 때와 입력하지 않았을 때 모델 출력의 차이를 기반으로 학습합니다. 이를 통해 모델은 태그, 단어, 개념 또는 문구를 임의의 프롬프트에 연결(alias)할 수 있게 됩니다. 이 경우, 저는
score_9, score_8_up, score_7_up, score_6_up, score_5_up, score_4_up
라는 "품질 문단"을
으로 연결했습니다. 즉, 저는 이 모델이 항상 "품질 문단"이 프롬프트에 포함된 것처럼 보이는 이미지를 생성하도록 학습시킨 것입니다.
기부
학습에 대해 말하자면, 모델 학습은 비용이 많이 듭니다. 저는 개인 서버에서 학습을 실행하고 있습니다. 제가 하는 일에 감동하셨다면, 개발을 지원해 주세요!
주요 장점
이 접근 방식의 제가 가장 좋아하는 장점 중 하나는 "품질"을 모듈화하고 제어 가능하게 만든다는 점입니다. 품질 태그에 가중치를 추가하면 출력에 다소 모호한 영향을 미치지만, 이 LoRA/LECO는 매우 명확하고 이해하기 쉬운 변화를 제공하며, LoRA/LECO의 가중치를 조절함으로써 그 강도를 제어할 수 있습니다. 이는 의도된 작동 방식입니다(반면, 가중치 프롬프트는 주의력 레이어에 적용된 해킹 같은 방식이며 항상 원하는 효과를 내지 못합니다).
또 다른 장점은 이 LoRA/LECO가 "품질 문단"이 사용하는 33개의 토큰을 소모하지 않는다는 점입니다! 이는 전체 컨텍스트 창의 절반에 해당합니다. 컨텍스트 창을 소모하면 A1111, InvokeAi, ComfyUI 등 사용 중인 백엔드가 주의력에 보이지 않는 BREAK를 추가하게 되어, 생성하는 프롬프트의 전체적인 일관성을 손상시키고 다른 원치 않는 결과를 초래할 수 있습니다.
특이점
이 모델의 v1은 상당히 약하며, 2-3 사이의 가중치에서 안정적으로 작동하는 것으로 보이지만, 가중치가 6까지도 인식 가능한 출력을 생성합니다.
v3은 표준 가중치 동작을 따르며, 일반 LoRA처럼 사용하시면 됩니다.
v3는 프롬프트에 등급 및 출처 태그를 반드시 포함해야 합니다.
이 모델은 오직 PonyDiffusion V6 XL에서만 학습 및 테스트되었습니다! 다른 모델과의 호환성을 보장하지 않습니다!
모델 v1은 배경을 더 "회화적"으로 만드는 경향이 있으며, 이로 인해 높은 강도에서 배경이 주체보다 훨씬 빠르게 붕괴됩니다. 이미지의 배경에 신경 쓴다면, 이 모델을 보조적으로만 사용하는 것이 좋습니다.
v4는 아직 완전히 테스트하지 않았습니다. v4에서 이상한 동작이 나타나면 알려주세요.
저는 모델 내에서 "품질" 개념을 분리하고 유사한 개념에서 제거하려 노력했지만, 그 한계는 명백합니다. 이 모델은 생성물의 내용을 의도치 않게 변경할 수 있습니다. 이러한 이상 현상에 대해 논의하고 싶으시면, Discord의 퓨리 디퓨전 서버로 오셔서 제게 알려주세요.
discord.gg/furrydiffusion
가입하신 후, 아래 스레드를 확인해 주세요:
https://discord.com/channels/1019133813105905664/1214131180572639312
v2가 어디에 있는지 궁금하시다면, 너무나 나빠서 커뮤니티에 공개할 수 없어 폐기했습니다.