Prompt Injection a way to finetune your prompt | needs more research
詳細
ファイルをダウンロード
モデル説明
以下は、このことを学んだ動画です：Higher quality images by prompting individual UNet blocks
この研究は以下のモデルを対象としています：ZavyFantasiaXL - PDXL - v2.0
時々、私たちがプロンプトで表現しようとするコンセプトやスタイルに対してより高い制御を求めますが、 ponies をベースにした一部のコンセプトやモデルでは、他の要素への「滲み」が大きすぎることがあります。その解決策として、それらのコンセプトに対して異なる開始・終了ステップを使用することがありますが、それだけでは十分でない場合もあります。
私は解決策を探していたところ、興味深い方法を見つけました。これは、モデルの異なるブロックにコンセプトを配置することで実現されます。ポイントは、自分が求めているコンセプトを担当しているブロックを特定することです。
このテクニックは若干難しく、完璧ではなく、近い将来無効になる可能性もありますが、私の研究を共有したいと思います。私はその背後にある技術的な詳細を理解していませんが、誰かが私たちを啓発してくれるかもしれません。それでは、サンプルを見てみましょう。
左が通常のプロンプト、右がプロンプトの注入です。
ポジティブ：score_9, score_8_up, score_7_up, score_6_up, score_5_up, score_4_up, score_safe, solo, upper body, (chibi:1.9), (human:1.8), black hair, black eyes, beautiful eyeline, biting_own_lip, squinted eyes, big breasts, holding breasts, red blouse, dnw, castle background
ネガティブ：logo, print, furry, gloves, nsfw, nipples, score_6, score_5, score_4
以下は、私が各ブロックが自分の画像の構成にどのように影響を与えるかを特定した結果です。より包括的な結論を得るためには、異なる構成や風景でさらに多くの画像を作成する必要がありますが、この情報が誰かの役に立つことを願っていますし、皆さんも自分の発見を共有してください。
- IN4, IN7, IN8, MID0, OUT0, OUT1, OUT3, OUT4: score_9, score_8_up, score_7_up, score_6_up, score_5_up, score_4_up, solo
重要な要素に影響を与えるブロックにはすべて品質タグを追加します。
IN4, IN7, MID0, OUT3, OUT4。更新：これらのブロックは全体のスタイルに何らかの影響を与えているように見えるため、さらに調査中です。ただし、OUT0のようではないようです。
OUT3, OUT4：これらのブロックはアンビエントオクルージョンや細部にわずかに影響を与えているようです。それらを無効にすると、このような結果になります：
これらのブロックにプロンプトを追加しても、大きな変化が生じないこともあれば、画像に大きく影響することもあります。そのため、私は通常これらを空のままにしています。わずかな変更が必要な場合、ランダムな単語を少しだけ追加します。IN5, OUT2, OUT5: biting_own_lip, squinted eyes
これらのブロックのうち、どのブロックが顔に影響を与えているのかは確実ではありませんが、「biting...」というコンセプトを追加すると、他のブロックにタグを設定するだけよりも効果的です。
- ブロック IN8: chibi, upper body, blouse, castle
このブロックは、詳細なしに概念を力強く適用し、構成に含めたい要素だけを指定します。
- ブロック OUT0: score_safe, (chibi:1.9), big breasts, upper body, biting_own_lip, holding breasts
このブロックは、体、ポーズ、ヘアスタイルに影響を与えます。
- ブロック OUT1: (human:1.8), black eyes, biting_own_lip, red blouse, nipples through clothes, beautiful eyeline, upper body, dnw, black hair, castle background
ここでは、より詳細に記述できます。IN8で追加した概念に色やスタイルを付加します。このブロックは構成に大きな影響を与えるため、開始ステップを0.10に設定しています。