ComfyUI Pony/SDXL/Illustrious Easy-Use Detailer Workflow (now with video generation!)
詳細
ファイルをダウンロード
このバージョンについて
モデル説明
weights_only 設定に関するエラーが発生した場合、以下の場所に .pt ファイルを1行ずつ追加してください：
ComfyUI\user\default\ComfyUI-Impact-Subpack\model-whitelist.txt
このワークフローは、標準的な Stable Diffusion ツール（ControlNet と Lora/LYCORIS）を使用してポートレートスタイルの画像を生成し、最小限のカスタムノードのみで詳細を追加し、必要に応じてノードを簡単に追加・削除できるよう、シンプルで直感的なワークフローを設計しています。
アイデアは、気に入ったベース画像を生成し、その後それを自動的に改善させるものです。これにより、最初のステップで気に入らない画像は途中で停止し、気に入った画像だけを次に進めることが可能になります。その後は、最終的な結果が常に最初のステップの画像をさらに向上させたものになることを確信して、離れることができます。
v4 へようこそ（バージョンノートをご覧ください）
ビデオ生成ステージのリソースは以下で入手できます：
https://blog.comfy.org/p/wan21-video-model-native-support
-
バージョン4では、最終出力と初期プロンプトを基に、Wan2.1の高度なビデオ生成プロジェクトを使用してビデオ生成を追加しました。
この処理には非常に高いハードウェアリソースが必要で、処理は遅く、良好な出力を得るには、画像生成時の初期プロンプトとは異なる考え方が必要です。
VRAMが16GB未満、システムRAMが48GB未満の環境でのビデオ生成はお勧めしません。これらの条件でも、5秒の動画を生成するのに、ワークフローの他の部分よりはるかに長くかかることがあります（すでに長いプロセスです）。
最初のプロンプトには明確なアクションを含めてください。そうでないと、Wanは人間が行わない、行うべきでない、行うこともないようなランダムな行動を出力します。
より詳しい情報は、ワークフローの動画部分の横にあるテキストブロックをご覧ください。
また、シード、ステップ、CFGの新しいグローバル設定カードを追加しました。これにより、これらの値を1回だけ変更すれば、ワークフロー全体の画像生成パートで一貫して使用されます。これにより、詳細化ステップを経て1枚の画像を微調整する際、各ステップでシードを手動で変更する必要がなくなります。CFGやステップを現在の設定より低く設定することは推奨しませんが（たとえば、30ステップで処理が遅すぎる場合など）、オプションとして提供しています。
-
V2+
このワークフローは、各ステップで関連する詳細を追加して操作可能です。テキストプロンプトの追加、CLIPの調整、さらには各ディテイラー段階でLoraの追加もできます。
ただし、ディテイラー段階にLoraを追加するには特別な配慮が必要です。Ultralyticsの検出方式の特性上、各段階で使用できるLoraに制限があります。簡単に言えば、Loraによる変更は検出ウィンドウ内に収まらなければなりません。一般的には、画像の要素のサイズを大きくしたり小さくしたりするような大きな変更は、その要素のディテイラーの1つ上の段階、または最上位段階で行う必要があります。たとえば、画像の人物の目のサイズを大きくするスライダーララを適用したい場合、目のディテイラーではなく、顔のディテイラーに適用する必要があります（目のディテイラーは、目の詳細やリアリズムを追加するLoraに最適です）。同様に、胸のサイズを変更するLoraは、ボディディテイラーか最上位段階で適用する必要があります。それぞれの段階でうまく機能するLoraの例として、いくつかお気に入りのLoraを事前に設定してあります。
また、ディテイラーの最上部にLUTノードを追加しました。これは完全に任意ですが、LUTを追加すると、特に屋外画像で空や水に映画的な「ビジュアルの跳ね」を加えることができ、作品に劇的な変化をもたらします。LUTはhttps://freshluts.com/ から無料でダウンロードできます。一般画像の調整向けであるRec 709ガンマモデルをお勧めします（特定のカメラからの出力を意図したものではありません）。
最後に、優れた1x_antialiasing アップスケールモデルを使用して最終出力を少しクリーンに仕上げるアップスケール処理を追加しました。これは最終画像のサイズを大きくするものではなく、単に仕上げのためのクリーンアップ処理です。
追加するLoraが多いほどメモリ使用量が増えます。VRAMに制約がある場合は、追加量に注意してください。
ご愛用いただき、ありがとうございます。アップグレードをお楽しみください！
-
V1+
このワークフローでは、パスの内側に隠された処理が一切ありません。ノード間の接続はシンプルで、余計なブロックは一切使用せず、一貫性を保ちつつ可能な限り接続を最小限に抑え、ステップ間には2〜3本のノードリンクのみを使用しています。
元の生成画像に大きな変化をもたらす変数を排除することに焦点を当て、ベース画像を生成した数分後に、まったく異なる結果になっているという事態を防いでいます。各ステップには「セーブポイント」（画像プレビュー）を設けており、ディテイラーのいずれかのステップで想定外の結果が生じた場合でも、作業中の適切な結果を引き出せるようにしています。
提供されているワークフローはNSFWのPony/Ponyリアリズムモデルを想定していますが、変更なしでSDXLモデルにも十分に適用できます。
SFW画像をご利用になる場合、または特定のディテイラーが常に期待する結果を出力しない場合、BBox検出器を別のものに変更するか、不要なディテイラーをスキップするために、前のステップから出る2〜3本のリンク線を迂回させることができます。
ワークフローに追加のディテイラーを挿入するには、既存のディテイラーのノードツリーをアンピンして複製し、元の接続と同じように接続すれば OK です。ただし、適切な位置に配置する必要があります。たとえば、全身のアイテム（衣服など）用のディテイラーは最初のアップスケールの前に、頭部や顔のサイズのアイテムは2番目のアップスケールの前に、個々の乳首などの細部は2番目のアップスケールの後に配置してください。このようにUltralyticsを段階的に分けることで、各ディテイラー処理に最大限のデータを提供しつつ、不要な結果を最小限に抑えることができます。
このワークフローは高速ではありません。私のシステム（R7950X/64GB DDR5/RTX4090）での単一画像の平均生成時間は6〜10分です。16GB以上のVRAMを想定して設計されています（12GBのGPUでも動作する可能性があります）。それより少ない場合、システムはシステムRAMにページングして処理が大幅に遅くなるか、そもそも動作しない可能性があります。ベース画像のサイズを変更することでVRAM使用量を減らすことができますが、その場合、アップスケールタイルサイズ（最初のアップスケールのタイルサイズはベース画像サイズと等しく、2番目はベース画像サイズの1.5倍）およびワークフローの「アップスケール元」部分のリサイズ幅を、最終出力画像の幅に合わせて変更する必要があります。また、各ディテイラーのguide_sizeとmax_sizeを1024程度に下げることも検討してください。
実際にはテストしていませんが、SD1.5で動作させるには、ローダーのパラメータをSD1.5用に調整し、上記のようにアップスケールタイルサイズとリサイズ幅を変更し、各ディテイラーのguide_sizeとmax_sizeを512に設定すれば動作する可能性があります。
このワークフローで使用するサンプラーをDDIMから他のものに変更することは可能ですが、選択するサンプラーによって結果は異なります。一部はディテイラーとのブレンドが良く、一部はワークフローを通じて画像に変化が生じます。DDIMを選択したのは、私がテストしたモデルの中で最も変化が少なく、リアリズム、半リアリズム、アニメ、その他のテーマに対しても良好な出力を得られるためです。他のサンプラーを使用する場合は、アネストラルサンプラーは避けた方がよいでしょう。このような多段階生成ワークフローでは、各ステップで結果が大きく変動する傾向があります。使用するサンプラーは、ワークフロー全体で統一してください。ステップ数やシードも同様です。変更する場合は、すべての場所で変更してください。CFGは10程度に保つことをお勧めします。下げると、ワークフロー全体で一貫性が失われます。
このワークフローの基盤となっているyolain氏の使いやすいノード（https://github.com/yolain/ComfyUI-Easy-Use）に多大な敬意を表します。これらのノードだけで、他のUltralyticsディテイラーノードで生じるさまざまな問題を解決し、画像の不適切なトーン変化を補正することができました。これは本当に素晴らしいもので、日々さらに機能が追加されています。
その他に使用したリソース：
ssituのComfyUI_UltimateSDUpscale（https://github.com/ssitu/ComfyUI_UltimateSDUpscale）
uwgのSwinIRアップスケールモデル（https://huggingface.co/uwg/upscaler/tree/main/SwinIR）— もしこれを使っていないなら、絶対に使ってください。
このワークフローで使用するUltralytics検出モデルは、Civitaiやhuggingface.coなどにあります。これらはほとんどの場合 .pt ファイルであり、「自己責任」で使用するカテゴリに該当するため、直接リンクは張りません。