RobMix CosXL Edit
詳細
ファイルをダウンロード
このバージョンについて
モデル説明
RobMix CosXL Edit がアップグレードされました。
私は RobMix Zenith で得られる結果に非常に満足しており、これが CosXL Edit とどのように組み合わさるか試してみたくなりました。このバージョンも非常に優れた結果を出しており、あなたにも役立つ可能性があるため、公開することにしました。
以前のバージョンは簡単な素早く粗いマージでした。今回のバージョンでは、画像モデルの品質とプロンプトの適合度を最大化し、Edit モデルの指示従順性を最適化するため、ブロックごとに重みを調整し、ミックスをより丁寧にチューニングしました。
内部的には、このバージョンには Zenith に含まれるすべての優れた要素が追加されています。
私のスタイルプロンプトライブラリで試してみてください。
サンプル画像の多くは、正のプロンプトとして私のスタイルプロンプトとキャラクタープロンプトをそのまま使用し、Text CFG を 3～4、Image CFG を 1 に設定して作成しました。
プロンプトは RobMix Zenith 用に最適化されています。
これは CosXL Edit チェックポイントです。ダウンロード前にお読みください。
Download ComfyUI の例ワークフロー こちら.
Stability CosXL HuggingFace より：
"Cos Stable Diffusion XL 1.0 Base は、コサイン連続 EDM VPred スケジュールを使用するよう調整されています。このスケジュール変更の最も顕著な特徴は、真っ黒から純白までの完全な色範囲を生成できることであり、さらに各ステップでの画像の変化率にも微細な改善が施されています。"
"Edit Stable Diffusion XL 1.0 Base は、コサイン連続 EDM VPred スケジュールを使用するよう調整され、さらに指示に基づく画像編集を実行できるようにアップグレードされています。このモデルは、入力画像とプロンプトを受け取り、そのプロンプトを画像をどのように変更するかという指示として解釈します。"
私の初期テストでは、CosXL Edit ベースモデルはすでに素晴らしかったですが、それに少し「何か特別な」要素を加えるため、最近の SDXL チェックポイントのマージ結果を統合しました。
利点と欠点
利点：
比類ないコントラスト
超シャープ
SDXL よりも興味深い構図と多様性を有しているように見える
欠点：
CFG に非常に敏感。4.0 を超えると、リスケールしてもアーティファクトが発生します。
サブジェクトに関する知識が限られている
CosXL チェックポイントの使い方
この投稿時点では、ComfyUI と StableSwarmUI は CosXL をそのままサポートしています。 他の Web UI でのサポートについては、私は聞いていません。
コントラストとディテールをより細かく制御するには、モデルパイプラインに ModelSamplingContinuousEDM ノードを追加し、sigma_max と sigma_min の設定を調整してください。
ただし、これは私の理解に基づくものであり、正確性を保証しませんが、これらは各ステップで画像から除去できるノイズの最大値と最小値を示していると理解しています。
sigma_max を上げると画像のコントラストが強化されますが、過剰に上げると画像が燃えてしまう傾向があります。標準は 120 のようですが、私はやや高めの値が好みです。
sigma_min を極端に低く下げることも可能ですが、0.0001 より低く、または 0.1 より高くすると、明らかなアーティファクトが発生します。
CosXL Edit のプロンプティング
プロンプティングは簡単です。変更したい内容をそのまま入力してください。たとえば、画像に山頂に座る男性が写っている場合、「金髪の女性」とプロンプトするだけで十分です。
推奨設定
ComfyUI の例ワークフローをこちらからダウンロードしてください。
これらのモデルは CFG に対して非常に敏感なので、値を低めに保ってください。cfg_text と cfg_image の比率を調整して、それぞれが最終画像に与える影響のバランスを取りましょう。CFG を高めすぎると、画像がすぐに燃えてしまう傾向があります。
第1回生成
40 ステップ
cfg_text: 2.5
cfg_image: 1.5
DPM++ 3M SDE Karras
さらに追加で、以下を設定すると効果的です：
FreeU
B1: 1.05
B2: 1.08
S1: 0.95
S2: 0.88
Self-Attention Guidance
scale: 0.5–0.8
blur_sigma: 2.0–4.0
CFG Rescale: 約 0.3