CLIP Text Encode And Enhance

버전 4 업데이트:

소규모 코드 최적화. 프롬프트 벡터와 컨텍스트 벡터 간의 각도 계산을 높은 계산 부하와 낮은 효율성으로 인해 제거했습니다. 컨텍스트 벡터는 "mean"으로 설정하여 비활성화할 수 있습니다. 프롬프트 벡터와 컨텍스트 벡터 사이의 중간 지점에 해당하는 벡터를 포함하는, "negative" 입력에 연결하도록 설계된 두 번째 출력을 추가했습니다.

버전 3 업데이트:

참고: 이제 clip을 통해 무엇인가를 연결할 경우, 연결된 요소가 제대로 작동하려면 CFG를 2-2.5배 줄여야 합니다. 프롬프트에 구분자가 없을 때 발생하던 버그를 수정했습니다. GPT가 생성하는 개별 단어의 고유성과 재현성을 영향을 주는 새로운 설정 세 가지를 추가했습니다. GPT 모델을 FredZhang7의 distilgpt2-stable-diffusion-v2로 교체했습니다(파일 크기는 약간 작아지고 다양성은 약간 증가했습니다). GPT에 전달되는 프롬프트는 조사, 접속사, 인칭대명사 등 정지어를 제외한 상태로 전달됩니다. 텐서 형성 단계에서 프롬프트 자체의 벡터와, 그 벡터와 중심화된 벡터 사이의 각도의 코사인 값을 곱한 벡터를 결합합니다. 이를 통해 프롬프트뿐 아니라 그 컨텍스트와 두 벡터 간의 의미적 근접성을 고려합니다.

버전 2 업데이트:

텍스트를 입력으로 변환할 때 발생하던 버그를 수정했습니다. GPT 비활성화 옵션을 추가했습니다. 기본 설정을 변경했습니다. 불필요하고 반복적인 문자열 유효성 검사를 간소화했습니다. GPT에 "Please continue with the descriptive prompt: " 명령을 전달합니다. GPT에서 생성된 연장 부분은 단어 중간에서 줄바꿈이 발생하지 않도록 마지막 쉼표까지 잘라냅니다.

버전 1:

프롬프트 작성 경험을 향상시키기 위해 텍스트 인코더에 일부 변경 사항을 도입했습니다.

BREAK 연산자나 Cutoff 확장과 유사한 기능을 가진 새로운 연산자 ">"를 도입했습니다. 이 연산자는 프롬프트의 의미적 부분들을 서로 분리합니다. 예: "파란 머리 > 초록 눈"은 초록색이나 청록색 머리보다 파란 머리를 더 잘 생성합니다. 프롬프트에 이러한 연산자를 너무 많이 사용하면 생성 품질이 저하될 수 있습니다. 75개 토큰을 초과하는 프롬프트도 같은 방식으로 더 작은 부분으로 나눌 수 있습니다.

내장된 GPT-2 모델은 프롬프트의 끝을 보완하는 데 도움을 줍니다. 정상 작동을 위해서는 모델 폴더가 노드 폴더 내에 있어야 합니다. 사용된 모델은 Ar4ikov의 gpt2-pt-2-stable-diffusion-prompt-generator이며, 다른 모델로 교체하거나 직접 학습할 수도 있습니다. 네 가지 설정이 있습니다: seed — 고정 가능; num_beams — 1보다 크면 여러 생성 결과 중에서 답변을 선택하며, 속도에 큰 영향을 미침; max_new_tokens — 최대 토큰 수; do_sample — True일 경우 다음 토큰은 이전 토큰을 기반으로 선택됩니다.

텍스트 입력 창의 크기는 노드의 오른쪽 하단 모서리를 아래로 드래그하여 조정할 수 있습니다.