LLM Prompt + Assist

LLMがCivitAIのシステムに実装されるという話が盛んに行われている中、自分のワークフローのLLMセクションの核心部分を皆に紹介しようと思います。

このワークフローの焦点は、主にプロンプトとLLMによるプロンプトの修正にあります。ワークフローの最後（画像の実際の生成部分）は非常に単純で基本的な構成です。目的は、プロンプト生成の核心となるLLM部分を、あなたが好きなどんなワークフローにも適用できるようにすることでした。そのため、自分のお気に入りのワークフローに簡単に組み込めるように設計しました。

LLMノードについていくつかコメントします：

各LLMノード/モデルには直接「話しかける」ことができます。あなたが入力した内容に対して、LLMは必ず応答します。たとえば「あなたは世界を支配すると思いますか？」といった質問をしても、使用するモデル次第で応答が返ってきます。そのため、LLMノードに指示を与える際は、この点を意識してください。LLMノードに入力するべき内容の例をいくつか提示していますが、実際に使ってみればすぐに理解できるでしょう。「Describe（説明してください）」、「Imagine（想像してください）」、「Think about（考えてください）」などは、すべてあなたの味方です。

仕組みとその設計理由

ここでは、好きな内容を入力できるメインのプロンプト（空欄でも構いません）があります。入力した内容は、直接読み込まれるか、LLM Clean Assistノードによって評価されます。これは柔軟性を提供する重要な点です。必ずしもLLM Clean Assistノードを使う必要はないので、以下に説明します。

2つのLLMノードは、それぞれ異なる内容をLLMに尋ねるように設定されています。なぜこれが重要かというと、たとえば「地下牢に座る女性エルフの魔法使いを描写してください」と尋ねると、LLMはその人物の外見だけでなく、なぜ地下牢にいるのか、彼女の感情や動機なども含めて説明してしまう可能性があります。

LLM、特に物語生成やロールプレイ向けのLLMは、提示されたすべての要素を網羅する合理的な応答を作ろうとします。これを回避する最も簡単な方法は、LLMに非常に狭い焦点を当てさせることです。望む要素を個別のタスクに分けてLLMに依頼することで、各要素の説明がより良くなるのです。

シーンを分割して、各LLMに個別の焦点を割り当ててください。先ほどの例では、「暗い地下牢の外見を描写してください」と「女性エルフの魔法使いの外見を描写してください」という2つの別々のLLMクエリに分けることで、より良い結果が得られます。プロンプトマージャーがこれらの2つの説明を統合し、その後にLLM Clean Assistノードが続きます。

LLM Clean Assistノード：（有効）

これは最終的なパース用LLMで、通常全体を統合する役割を担います。このノードは前のノードから得られたすべてのデータを読み取り、最終的なプロンプトとして出力を生成します。

LLM Clean Assistノード：（無効）

無効にすると、マージされたプロンプトがそのまま画像生成プロセスに送られます。

補足：

このワークフローにはLLMファイルは含まれていませんが、ワークフロー内に役立つ可能性のあるいくつかのモデルに関するメモを記載しています。ただし、GGUF形式であれば、どのようなインストラクション型またはチャット型LLMでも使用できます。ワークフロー内に設定方法の説明があります。