Layer Diffuse with any model ComfyUI Workflow

このワークフローを使用すると、現在訓練されたLayer Diffusionモデルが存在しない任意のチェックポイントアーキテクチャを用いて、透明な画像を生成できます。既存のモデルを他のアーキテクチャと自動で互換性を持たせるわけではありませんが、この制限を回避するための賢いトリックを活用しています。他の私の作業とは異なり、このワークフローは極めて基本的な構成にしてあり、あなた自身のワークフローにこれらのアイデアを組み込むことを目的としています。以下の詳細をご覧ください。

依存関係
https://github.com/huchenlei/ComfyUI-layerdiffuse
https://github.com/Fannovel16/comfyui_controlnet_aux

実行方法
まず、サポートされているモデルで画像を生成します。現在のところ、SD1.5およびSDXLが対応しています。Ponyも対応していますが、Illustrious/NoobAIは対応していません。
以下はPonyチェックポイントを使用して生成された画像で、Layer Diffusionモデルを適用した後、Layer Diffusionのデコード前の状態です（まだ透明性はありません）：

デコード後、透明な画像が得られます。CivitAIはこの形式を完全にはサポートしていませんが、画像の黒い部分は実際には透明度を表しています。

これはまだPonyの画像であり、特別なワークフローなしでも実現できますが、今回はLayer Diffusionモデルが訓練されていないチェックポイントで生成したいと考えています。
そこで、この画像を保存する代わりに、Layer Diffuse Decodeノードからマスクを抽出します：

次に、最初に生成した画像を用いて、ControlNetプリプロセッサを使用して、Layer Diffusionデコード前のPony画像から深度画像とHED（ソフトエッジ）画像を作成します（ソフトエッジの代わりにラインアートも使用可能です）：

両方のControlNetを適用することで、Layer Diffusionモデルが存在しないチェックポイント（ここではIllustriousチェックポイント）を使用して画像を生成します：

キャラクターが先ほど抽出したマスクの範囲内に収まるように、ControlNetの強度を十分に高く設定する必要があります。
最後のステップとして、このマスクでキャラクターを切り抜きます：

完成！IllustriousのLayer Diffusionモデルなしで、Illustriousのキャラクターを持つ透明背景画像が得られました。

使用したチェックポイント：
T-Ponynai3
Aungir

LORA
このワークフローでキャラクター用LORAを使用する場合、両方のアーキテクチャ用のLORAが必要になる可能性があります。ポーズモデルについても同様ですが、ワークフローの初期段階で使用するモデルに重点を置いてください。

画像の拡大
拡大を追加する場合は、画像を切り抜く前に実行してください。私のテストでは、マスクを拡大する必要はありません。マスクは自動的に拡大されます（実際にマスクを拡大した場合、結果は悪化しました）。タイル状の拡大を試しましたが、非常に良好な結果が得られました。