NoobAI-XL 的 IPAdapter 微调风格模型

这是一个个人实验，旨在微调 NoobAI 的 IP-Adapter，以从参考图像中迁移绘画风格，而非主题与构图。

其效果并不总是如预期般理想，除了收集更多数据外，我也不知如何进一步改进它。（此外，如今单图 LoRA 已相当可行。）因此，我决定将其作为一款用于风格探索的玩具模型发布。

该适配器基于 NoobAI 的 IP-Adapter Mark 1，在基础模型 NoobAI-XL EPS V11 上进行微调。

2025年3月11日扩展更新： 增加对 Forge 的支持。

2025年2月12日扩展修复： 有人报告了扩展仅在 ReForge 的开发分支中可用的 bug。如果你在 ReForge 主分支上遇到扩展问题，请更新扩展或切换到开发分支。

使用方法

注意：为了捕捉更精细的细节，该适配器使用了经过修补的 CLIP-ViT-bigG 版本，输入尺寸为 448x448，而非原始的 224x224。因此，你必须使用我的自定义扩展才能正常运行它。该扩展复用官方的 CLIP-ViT-bigG（NoobAI 的 IP-Adapter 所使用的版本），并在运行时应用补丁，因此如果你已拥有该模型，则无需额外下载。

Forge/ReForge WebUI

1. 下载 ip-adapter 的 safetensor 文件，并将其放入 <ReForge_安装路径>\models\ControlNet

2. 安装此 扩展 以支持 CLIP-ViT-bigG-448，并重启 UI。

3. 在 ControlNet 面板中，从预处理器列表选择 CLIP-ViT-bigG-448 (IPAdapter)，并在模型列表中选择风格适配器。

4. 上传参考图像，如需处理较大参考图，可选择启用“完美像素”选项。

5. 输入提示词并生成！

ComfyUI

1. 下载 ip-adapter 的 safetensor 文件，并将其放入 <ComfyUI_安装路径>\ComfyUI\models\controlnet。（如果你同时拥有 ReForge，也可直接放入 ReForge 的 controlnet 文件夹，并在 ComfyUI 中链接该路径。）

2. 安装此 扩展 并重启 UI。

3. 使用 Extend Clip Vision Input Size 节点和 IPAdapter Advanced (Clip Size Aware) 节点：

   

对比示例

小贴士

• 先正常输入提示词，再使用与目标风格相关的标签进行增强或混合。

• 尤其当主体不在画面中心或尺寸较小时，请先在其他软件中裁剪并调整参考图像大小。一般经验法则是：将参考图缩放到 448x448 方形后，风格仍应清晰可辨。对于全身竖图，建议裁剪为半身或胸像。

• 质量标签可能对风格产生正面或负面影响，取决于目标风格是否干净。

• 如果出现构图泄露，此适配器相比原版更易通过正向/负向提示词覆盖或移除构图。

• 尽管某些艺术家风格具有特定构图倾向（例如 chibi），但此适配器未必将其作为风格的一部分捕捉。如需，可手动添加 chibi、cute 等标签。同理适用于 点状眼睛 等元素。

• 高级用法：可将其与原版适配器、艺术家标签、提示词编辑结合使用，或仅在采样周期的某一部分应用该适配器。

• 可先使用空正向提示生成若干随机图像，观察适配器从参考图中捕捉到了哪些风格元素。

局限性

• 仅模仿线条、明暗等通用执行风格，不模仿面部或人体解剖结构。

• 对以下情况捕捉效果不佳：

  • 基于构图或材质的风格，例如雕塑的照片可能输出平滑的半写实明暗，而非真实的雕塑效果。（可尝试添加 sculpture \(artwork) 标签并移除颜色相关标签）

  • 高度细节化的风格，如超写实主义。

  • 解剖异常或形状模糊的抽象风格。

• 可能幻觉出某些风格元素的组合，例如将某些平滑阴影的二维作品误认为三维作品。

• 同时会迁移 JPEG 噪点、模糊和噪波模式。

训练数据以兽人风格为主，尚不确定这对动漫风格多样性有何影响。