Prompt Injection a way to finetune your prompt | needs more research

PANyZHALPANyZHAL
22
189
promptworkflow工具
prompt_injection

详情

下载文件

模型描述

以下是我在学习此内容时参考的视频：通过提示各个UNet模块获得更高品质图像

这项研究基于以下模型：ZavyFantasiaXL - PDXL - v2.0

有时我们希望对试图提示的概念/风格拥有更多控制权，但在某些基于小马的模型或概念上，信息“渗漏”过于严重。有时解决方案是为这些概念使用不同的起始/结束步数，但这并不总是足够。

我在寻找解决方案时发现了一种有趣的方法。其原理是将某个概念分配到模型的不同模块中，关键在于找出哪些模块负责你所关注的概念。

这种技术可能有点困难、不完美，并且在不久的将来可能过时，但我仍想与大家分享我的研究。我不清楚其背后的技术细节，或许有人能为我们解惑。闲话少说，让我们直接看示例。

左侧为正常提示，右侧为提示注入。


正向提示：score_9, score_8_up, score_7_up, score_6_up, score_5_up, score_4_up, score_safe, solo, upper body, (chibi:1.9), (human:1.8), black hair, black eyes, beautiful eyeline, biting_own_lip, squinted eyes, big breasts, holding breasts, red blouse, dnw, castle background
负向提示：logo, print, furry, gloves, nsfw, nipples, score_6, score_5, score_4

接下来，我列出我发现的每个模块对图像构成的影响。我需要生成更多不同构图和背景的图像以得出更全面的结论，但我希望这些发现能对他人有所帮助，也欢迎你们分享自己的发现。

  • IN4, IN7, IN8, MID0, OUT0, OUT1, OUT3, OUT4: score_9, score_8_up, score_7_up, score_6_up, score_5_up, score_4_up, solo

我将质量标签添加到所有影响关键元素的模块中。

  • IN4, IN7, MID0, OUT3, OUT4。更新：我正在进一步研究这些模块，因为看起来它们以某种方式影响整体风格，但不像 OUT0 那样。

  • ** OUT3, OUT4：看起来这些模块轻微影响环境遮挡或细节，因为禁用它们会得到这样的效果：有时在这些模块中提示不会产生明显变化，有时却会对图像产生巨大影响，因此我通常让它们保持空置。如果我需要轻微调整，我会加入几个随机词。

  • IN5, OUT2, OUT5: biting_own_lip, squinted eyes

我不确定这些模块中哪个直接影响面部，但当我添加“biting...”这一概念时，效果比仅在其他模块中使用标签更好。

  • 模块 IN8: chibi, upper body, blouse, castle

这个模块仅处理粗略的概念，不包含细节，只保留你希望出现在构图中的元素。

  • 模块 OUT0: score_safe, (chibi:1.9), big breasts, upper body, biting_own_lip, holding breasts

这个模块影响身体、姿势、发型。

  • 模块 OUT1: (human:1.8), black eyes, biting_own_lip, red blouse, nipples through clothes, beautiful eyeline, upper body, dnw, black hair, castle background

在这里你可以更细致地描述。它会接收 IN8 中添加的概念，并添加颜色与风格。由于此模块对构图影响较大，我将其起始步设为 0.10。

此模型生成的图像

未找到图像。