LLM Prompt + Assist

CivitAI 시스템에 LLM이 도입된다는 다양한 논의를 보고, 제가 작업 흐름의 LLM 섹션 핵심 부분을 모두와 공유하고자 합니다.

이 부분의 초점은 주로 프롬프트와 LLM을 통한 프롬프트 수정에 있습니다. 작업 흐름의 마지막 부분(실제 이미지 생성)은 매우 간단하고 기본적인 구조입니다. 이 설계의 목적은 LLM 기반 프롬프트 생성의 핵심 부분을 원하는 어떤 작업 흐름이든 적용할 수 있도록 유연하게 만든 것이었습니다. 저는 이 구조를 어떤 작업 흐름에도 쉽게 통합할 수 있도록 구성했습니다.

LLM 노드에 대한 몇 가지 설명:

각 LLM 노드/모델은 직접 “대화”할 수 있습니다. 입력한 내용에 대해 LLM은 그에 맞게 답변합니다. 예를 들어 “세상의 지배를 할 것 같나요?”와 같은 질문을 할 수 있으며, 사용하는 모델에 따라 다양한 답변을 받을 수 있습니다. 따라서 LLM 노드에 명령을 줄 때 이 점을 기억하세요. LLM 노드에 입력할 내용에 대해 몇 가지 예시를 제공했지만, 실제로 몇 번 시도해보면 자연스럽게 이해할 수 있습니다. “기술해”, “상상해”, “생각해보면” 등의 표현들이 모두 유용합니다.

이것이 어떻게 작동하며, 왜 이렇게 구성되었는가

여기에 기본 프롬프트 영역이 있으며, 원하는 내용을 입력하거나 비워둘 수 있습니다. 여기에 입력한 내용은 직접 사용되거나 LLM Clean Assist 노드에 의해 평가됩니다. 이 점이 중요합니다. 왜냐하면 이 구조가 유연성을 제공하기 때문입니다. 반드시 LLM Clean Assist 노드를 사용할 필요가 없으며, 아래에 그 이유를 설명하겠습니다.

두 개의 LLM 노드는 각각 다른 질문을 하도록 구성되어 있습니다. 왜 이 점이 중요한가요? 예를 들어, “지하감옥에 앉아 있는 여성 엘프 마법사”를 LLM에 묻는다면, LLM은 그 장면의 묘사를 제공할 뿐 아니라, 그녀가 왜 감옥에 있는지, 그녀의 감정 상태, 동기 등도 함께 포함한 상세한 서술을 제공할 가능성이 높습니다.

LLM, 특히 스토리텔링이나 역할극용 LLM은 제공된 모든 요소를 포함한 합리적인 답변을 만들어내려는 경향이 있습니다. 이를 방지하는 가장 쉬운 방법은 LLM에게 매우 좁은 초점을 주는 것입니다. 원하는 요소들을 분리하여 각각 별도의 작업으로 LLM에 요청하면, 각 요소에 대한 묘사 품질이 훨씬 향상됩니다.

장면을 여러 개의 독립된 요소로 나누어 각 LLM에게 각기 다른 초점을 주는 것이 좋습니다. 위의 예를 들어보면, “어두운 지하감옥의 모습을 설명해줘”라는 질문을 LLM One에, “여성 엘프 마법사의 외모를 설명해줘”라는 질문을 LLM Two에 각각 요청합니다. 그런 다음 프롬프트 병합 노드가 이 두 묘사를 결합하고, 그 다음 LLM Clean Assist 노드가 작동합니다.

LLM Clean Assist 노드:- (활성화됨)

이 노드는 최종 파싱 LLM으로, 보통 모든 요소를 통합하는 역할을 합니다. 이 노드는 이전 노드들에서 전달된 모든 데이터를 읽고 분석하여 최종 프롬프트를 생성합니다.

LLM Clean Assist 노드:- (비활성화됨)

비활성화하면, 병합된 전체 프롬프트를 바로 이미지 생성 단계로 전달합니다.

몇 가지 참고 사항:

이 작업 흐름에는 LLM 파일이 포함되어 있지 않습니다. 그러나 작업 흐름 내에 도움이 될 수 있는 몇 가지 모델에 대한 참고 사항을 첨부해 두었습니다. 다만, GGUF 형식이라면 어떤 지시형 또는 채팅 LLM도 사용할 수 있습니다. 작업 흐름 내에 구체적인 지침이 제공되어 있습니다.