Prompt Injection a way to finetune your prompt | needs more research
세부 정보
파일 다운로드
모델 설명
이것은 제가 이 내용을 배운 비디오입니다: Higher quality images by prompting individual UNet blocks
이 연구는 다음 모델을 기반으로 진행되었습니다: ZavyFantasiaXL - PDXL - v2.0
때로는 우리가 프롬프트로 전달하려는 개념/스타일에 더 큰 제어권을 원하지만, 말 그대로 어떤 개념이나 폰이 기반인 모델에서는 경계가 너무 흐려지는 경우가 있습니다. 때로는 이러한 개념에 대해 다른 시작/종료 스텝을 사용하는 것이 해결책이 될 수 있지만, 그것만으로는 충분하지 않은 경우도 있습니다.
저는 이에 대한 해결책을 찾던 중 흥미로운 방법을 발견했습니다. 이 방법은 모델의 다른 블록에 개념을 분리하여 입력하는 방식입니다. 핵심은 어떤 블록이 당신의 개념에 영향을 주는지 찾아내는 것입니다.
이 기술은 다소 어려울 수 있고, 완벽하지 않으며, 가까운 미래에 구식이 될 수도 있지만, 제 연구 결과를 여러분과 공유하고자 합니다. 저는 이 기술의 기술적 세부 사항을 잘 모릅니다. 하지만 누군가 이에 대해 설명해 주실 수 있기를 바랍니다. 이제 바로 샘플을 살펴보겠습니다.
왼쪽은 일반적인 프롬프트이고, 오른쪽은 프롬프트 주입입니다.
긍정: score_9, score_8_up, score_7_up, score_6_up, score_5_up, score_4_up, score_safe, solo, upper body, (chibi:1.9), (human:1.8), black hair, black eyes, beautiful eyeline, biting_own_lip, squinted eyes, big breasts, holding breasts, red blouse, dnw, castle background
부정: logo, print, furry, gloves, nsfw, nipples, score_6, score_5, score_4
이제 제가 찾은 각 블록이 내 이미지 구성에 미치는 영향을 나열하겠습니다. 더 포괄적인 결론을 내리기 위해 다양한 구성과 풍경을 가진 이미지를 더 생성해야 하지만, 이 내용이 누군가에게 도움이 되기를 바라며, 여러분도 자신의 발견을 공유해 주시면 감사하겠습니다.
- IN4, IN7, IN8, MID0, OUT0, OUT1, OUT3, OUT4: score_9, score_8_up, score_7_up, score_6_up, score_5_up, score_4_up, solo
저는 중요한 요소에 영향을 주는 모든 블록에 품질 태그를 추가합니다.
IN4, IN7, MID0, OUT3, OUT4. 업데이트: 이 블록들이 전체 스타일에 영향을 미치는 것처럼 보이지만, OUT0처럼 직접적인 영향은 아닌 것 같아 추가 실험 중입니다.
OUT3, OUT4: 이러한 블록들이 앰비언트 오클루전이나 디테일에 약간의 영향을 주는 것처럼 보입니다. 왜냐하면 이 블록들을 해제하면 다음과 같은 결과가 나오기 때문입니다:
때로는 이 블록들에 프롬프트를 추가해도 큰 변화가 없고, 때로는 이미지에 큰 영향을 미치므로, 저는 보통 이 블록들을 비워둡니다. 약간의 변화가 필요할 때는 임의의 단어 몇 개를 추가합니다.IN5, OUT2, OUT5: biting_own_lip, squinted eyes
이 블록들 중 어떤 것이 얼굴에 영향을 주는지 확신이 서지 않지만, "biting..." 개념을 추가하면 다른 블록에 태그만 추가하는 것보다 더 잘 작동합니다.
- 블록 IN8: chibi, upper body, blouse, castle
이 블록은 디테일 없이 단순한 개념을 강하게 적용합니다. 단지 구성에 포함시키고 싶은 요소만 넣습니다.
- 블록 OUT0: score_safe, (chibi:1.9), big breasts, upper body, biting_own_lip, holding breasts
이 블록은 신체, 포즈, 헤어스타일에 영향을 줍니다.
- 블록 OUT1: (human:1.8), black eyes, biting_own_lip, red blouse, nipples through clothes, beautiful eyeline, upper body, dnw, black hair, castle background
여기서는 더 구체적으로 묘사할 수 있습니다. 이 블록은 IN8에 추가한 개념을 받아서 색상과 스타일을 추가합니다. 이 블록이 구성에 큰 영향을 미치기 때문에, 시작 스텝을 0.10으로 설정했습니다.