Style IPAdapter for NoobAI-XL

VahlokAlunmidVahlokAlunmid
148
1.9K
アニメstylefurry
v1.0

詳細

ファイルをダウンロード

モデル説明

NoobAI-XL 用 Style IPAdapter ファインチューニング

これは、参照画像から対象や構図ではなく、描画スタイルを転送するために、NoobAIのIP-Adapterをファインチューニングする個人的な実験です。

期待したほど常にうまく動作するわけではなく、さらなる改善方法はデータをさらに収集する以外にわかりません。（また、現在では1枚の画像用LoRAも十分に有効です。）そのため、スタイル探索用のトイモデルとして公開することにしました。

このアダプターは、ベースモデル【NoobAI-XL EPS V11】(/model/833294?modelVersionId=1116447) 上で、NoobAIのIP-Adapter Mark 1 をファインチューニングしています。

2025年3月11日 拡張機能更新: Forge対応を追加しました。

2025年2月12日 拡張機能修正: 拡張機能がReForgeの開発ブランチでのみ動作するというバグが報告されました。ReForgeのメインブランチで拡張機能に問題がある場合は、拡張機能を更新するか、開発ブランチに切り替えてください。

使用方法

注: 細部を捉えるため、このアダプターはCLIP-ViT-bigGのパッチ版を使用し、元の224x224ではなく448x448の入力サイズでファインチューニングされています。したがって、正しく動作させるには私が作成したカスタム拡張機能が必要です。この拡張機能は、公式CLIP-ViT-bigG（NoobAIのIP-Adapterが使用しているもの）を再利用し、実行時にパッチを適用するため、すでに持っている場合は追加でモデルをダウンロードする必要はありません。

Forge/ReForge WebUI

  1. ip-adapterのsafetensorファイルをダウンロードし、<ReForge_Install_Path>\models\ControlNet に配置してください。

  2. CLIP-ViT-bigG-448用のこの拡張機能をインストールし、UIを再起動してください。

  3. ControlNetパネルで、Preprocessorリストから CLIP-ViT-bigG-448 (IPAdapter) を選択し、モデルリストからスタイルアダプターを選択してください。

  4. 参照画像をアップロードし、必要に応じて大きな参照画像用に「Perfect Pixel」を有効化してください。

  5. プロンプトを入力して生成！

ComfyUI

  1. ip-adapterのsafetensorファイルをダウンロードし、<ComfyUI_Install_Path>\ComfyUI\models\controlnet に配置してください。（ReForgeも使用している場合、ReForgeのControlNetフォルダに配置し、ComfyUIからリンクすることもできます。）

  2. この拡張機能をインストールし、UIを再起動してください。

  3. Extend Clip Vision Input Size ノードと IPAdapter Advanced (Clip Size Aware) ノードを使用してください：

比較

ヒント

  • 最初は通常のプロンプトで生成し、その後ターゲットスタイルに関連するタグを追加して強化または混合してください。

  • 特に被写体が中心にない、または小さすぎる場合、別のソフトウェアで参照画像をトリミング・リサイズしてください。目安として、参照画像を448x448の正方形にリサイズしてもスタイルが明確に認識できるようにしてください。縦長のフルボディ画像の場合、半身または胸像にトリミングすることを推奨します。

  • 品質タグは、ターゲットスタイルがクリーンかどうかに応じてスタイルを向上させたり低下させたりする可能性があります。

  • 構図のリークが発生した場合、このアダプターでは、正のプロンプト／負のプロンプトで構図を上書き・削除するのが元のアダプターよりも容易です。

  • 一部のアーティストのスタイルには特定の構図的傾向（例：ちびキャラ）がありますが、このアダプターは必ずしもそれらをスタイルの一部として捉えます。必要に応じて chibi や cute といったタグを使用してください。ドットアイ なども同様です。

  • 上級者向け：元のアダプターと組み合わせたり、アーティストタグやプロンプト編集を利用したり、サンプリングスケジュールの一部にのみアダプターを適用したりできます。

  • 空のポジティブプロンプトでランダム画像を生成し、アダプターが参照画像から何を捉えているかを確認できます。

制限事項

  • 線やシェーディング技法のような一般的な実行スタイルのみを模倣し、顔や体の解剖学的構造は模倣できません。

  • 次のスタイルはうまく捉えられません：

    • 構図や素材に基づくスタイル：たとえば、彫刻の写真を入力すると、実際の彫刻ではなく滑らかな半現実的なシェーディングが生成されます。（sculpture \(artwork) といったタグを追加し、色関連のタグを削除すると改善する場合があります）

    • ハイパーリアリズムのような非常に高精細なスタイル。

    • 解剖学的に異常または形状が曖昧な抽象スタイル。

  • 特定のスタイル要素の組み合わせを幻覚的に生成することがあります。たとえば、滑らかなシェーディングの2Dアートを3Dアートと誤認識するなど。

  • JPEGのグレイン、ぼやけ、ノイズパターンも転送します。

トレーニングデータセットはフューリー系が支配的であり、アニメスタイルの多様性への影響は不明です。

このモデルで生成された画像

画像が見つかりません。