4k Resolution Upscale (8x) + ControlNet Tile Resample: In depth with resources

ToxicBotToxicBot
529
5.4K
tutorialguidecontrolnetupscale
v1.0

詳細

ファイルをダウンロード

モデル説明

ZIPファイルには、チュートリアルに含まれるすべてのオリジナル画像と生成データが含まれています。

要件：

それぞれのインストール手順に従ってください。ControlNetおよびさまざまなモデルのインストールは簡単です。

生成例

  • A-Zovya Photoreal [7d3bdbad51] - Stable Diffusionモデル
    /model/57319/a-zovya-photoreal
    インストールパス：...\stable-diffusion-webui\models\Stable-diffusion\

  • EasyNegative [C74B4E810B] - 埋め込み
    /model/7808/easynegative
    インストールパス：...\stable-diffusion-webui\embeddings\

  • Image Sharpener [FE5A4DFC4A] - 埋め込み
    /model/43286/image-sharpener
    インストールパス：...\stable-diffusion-webui\embeddings\

  • 4x UltraSharp - オーバーサンプリング
    https://upscale.wiki/wiki/Model_Database#Universal_Models
    インストールパス：...\stable-diffusion-webui\models\ESRGAN\

  • --xformers
    必須ではありません。これは最終出力が私の生成物とわずかに異なる原因になります。
    インストール方法：webui-user.bat を編集し、「set COMMANDLINE_ARGS=--xformers」を追加
    注意：新しいGPUのみ対応。諸条件を満たせない場合はこちらからビルド可能（個人的にはテストしていません）。
    https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Xformers

ワークフロー：

1) txt2img

512x512のベース画像を生成します。 メモ：512から4096へのアップスケーリングの方が、256から2048へのアップスケーリングよりも優れた結果が得られます。

生成データ：

森の中の放置されたトラック
ネガティブプロンプト：lr, easynegative,
ステップ数：32、サンプラー：DPM++ 2S a Karras、CFGスケール：7、シード：979998160、サイズ：512x512、モデルハッシュ：7d3bdbad51、モデル：aZovyaPhotoreal_v1、Clip Skip：1

注：2つのネガティブ埋め込みは良好な結果のために必須ではありません。私の例を再現するためだけに使用しています。Image Sharpener (lr)は、通常、高品質な生成画像を提供します。EasyNegative (easynegative)は、通常、より良い構図を提供します。

以下のスクリーンショットのようにimg2imgに送信します：

2) img2img

ここではほぼそのままの状態で使用できます。デモではControlNetの機能とタイリング処理の精度を示すために、高めのノイズ除去（0.75）を使用します。0.2まで下げることは可能ですが、0.35未満では4〜8倍のアップスケール時に顕著な滑らかさが発生し始めます。お好みのサンプラーを選択してください。私の場合は DPM++ 2S a Karras で、おそらく最良（個人的意見）かつ最も遅いものです。

3) ControlNet

ControlNetパネルまでスクロールし、タブを開き、Enableのチェックボックスをオンにします。プロセッサとして tile_resampler を選択し、モデルとして control_v11f1e_sd15_tile を選択します。

4) Ultimate SD Upscale

正直、ここが最もややこしい部分です。スクリプトが正しくインストールされていると仮定し、下部のスクリプト選択までスクロールし、Ultimate SD Upscale を選んでください。

設定：

  • ターゲットサイズタイプ：「画像サイズからスケール」に設定し、8（4K）または4（2K）を選択

  • アップスケーラー： 4x-UltraSharp を選択、またはお好みのアップスケーラー選択

  • タイプ： Linear、目立つ接合部が発生する場合はchessを選択。これにより改善可能だが、処理時間が長くなる

  • タイル幅/高さ： 今後は512のまま維持。より大きなタイルサイズは全体的な画像品質を向上させます。512タイルと1024タイルの例を参照

  • 接合部修正： none。この例では接合部修正は使用していません。chess再描画タイプで効果が得られない場合にのみ、接合部修正を試すことをおすすめします。私たちの例では明らかな接合部は見られません（存在しています）。

生成データ：

森の中の放置されたトラック
ネガティブプロンプト：lr, easynegative,
ステップ数：32、サンプラー：DPM++ 2S a Karras、CFGスケール：7、シード：979998160、サイズ：4096x4096、モデルハッシュ：7d3bdbad51、モデル：aZovyaPhotoreal_v1、ノイズ除去強度：0.75、Ultimate SD Upscaleアップスケーラー：4x-UltraSharp、Ultimate SD Upscaleタイル幅：512、Ultimate SD Upscaleタイル高さ：512、Ultimate SD Upscaleマスクぼかし：8、Ultimate SD Upscaleパディング：32、ControlNet有効：True、ControlNetプロセッサ：tile_resample、ControlNetモデル：control_v11f1e_sd15_tile [a371b31b]、ControlNet重み：1、ControlNet開始ステップ：0、ControlNet終了ステップ：1、ControlNetリサイズモード：クロップ＆リサイズ、ControlNetピクセルパーフェクト：False、ControlNet制御モード：バランス、ControlNetプロセッサパラメータ："(512, 1, 64)"、Clip Skip 1

**最終出力（4K画像）(高解像度画像はギャラリーをご覧ください)

2K画像出力

1K画像出力

元の512画像

8Kアップスケーリングに関する注意点

512から4096に512タイルでアップスケーリングすると、64個のタイルになります。これは非常に多くのタイルです。

このように大量のタイルを使用すると、ゴースト現象が発生する可能性があります。上記の4K例では、複数のタイル内で「放置トラック」が隠れていることが確認できます。以下のクロップ画像は2つのタイルが生成された状態です。

ノイズ除去修復： 低いノイズ強度でこれを軽減できますが、問題は依然として存在します。低いノイズ強度は効果を弱める一方で、ディテールが失われる（滑らかになる）という代償があります。以下は0.35のノイズ強度。格段に目立たないようになり、やや滑らかになっています。

プロンプト修復： これとは別に、高めのノイズ強度とプロンプトを削除することで解決できます。プロンプトが設定されないと、各タイル内でシーンを再描画しようとしません。ただし、欠点は0.75のノイズ強度でも非常に細部が少なくなることです。以下の画像では、ゴーストトラック現象が完全に除去されています。

しかし、前述の通り、プロンプトがないと細部が著しく少なくなります。以下の画像を比較すると明確に違いがわかります。

プロンプトありの4K画像

プロンプトなしの4K画像
以下ではネガティブ埋め込みは使用していませんが、lrを含めることで細部を増やすことができます。また、「sharp」「detailed」などといった言葉を追加して助けられます。ただし、「rusty metal」といった言葉をそのまま使うと、木や他の場所に錆を付加することになります。したがって、プロンプトの修正には注意が必要です。

大きなタイルサイズによる修正： 1024タイルサイズ（16タイル）でプロンプトを設定し、高めのノイズ除去を行うと、問題は劇的に軽減されます。高いタイルサイズでは全体的なディテールも向上しますが、問題は依然として発生します。以下のクロップ画像では、1台のトラックが削除され、もう1台がより詳細化されています。全体的に見ると、タイルに隠れたトラックの数はおそらく半分程度に減ったかもしれませんが、依然として存在しています。問題は、主題（放置トラック）ではないタイル上で、トラックを生成しようとする点にあります。この時点では、それらを消去するか、ノイズ除去を下げる、タイルサイズを大きくする、プロンプトを変更する、といった組み合わせにより最適な結果を得ることができます。

設定制限

4096サイズの画像をレンダリングするには、設定内でより大きな画像サイズを有効にする必要があります。

設定 > 画像/グリッドの保存

幅・高さ制限 - 4096（もしあなたが本気なら8192も可）

最大メガピクセル - 400（正確な測定方法は不明）

チェックボックス（ダウンスケーリングされたJPGとして保存）を有効にしても、PNGとして保存することが可能です。

トラブルシューティング：

正しいタイルモデルをダウンロードしているか確認してください。以前のControlNet 1.1リリース時に動作しなかったバージョンがリリースされたため、削除されています。1.1リリース時にダウンロードした場合は、モデルの更新が必要です。モデルのバージョン番号が正しいか確認してください。これは非常に重要です。

  • 問題が続いている場合は、GPUドライバ、ライブラリ、A1111などを更新してください。

  • コンピュータを再起動してください。

  • 他のモデルやサイズで試してみてください。

  • Ultimate SD Upscaleで接合部修正を有効にした場合は、2枚の画像（修正あり・なし）が生成されることに注意してください。両方を比較して確認してください。

  • 自分の生成物よりも、私の例を元に再現してみてください。これにより、どこか間違っているか確認できます。

  • 生成データがControlNet画像から遠いほど、画像が滑らかになる傾向があります。

最終コメント：

一部のチュートリアルでは、512を2048にアップスケーリングし、その2048をさらに4096にアップスケーリングする方法が紹介されています。私はお勧めしませんし、必要ないと考えます。これは、単に512から4096にアップスケーリングするのよりも、3〜4倍も時間がかかります。技術的にはこの方法でより良いディテールが得られる可能性がありますが、最適ではありません。

画像が滑らかすぎる場合は、4Kレンダリングに対して、高めのノイズを設定しながらかつスケールを1に下げる最終的な細部修正を実行してください。

生成設定や接合部処理などを変えたさまざまなバージョンを保存し、Photoshop（または他のツール）でマスクを組み合わせるのを検討するのも良いでしょう。

ZIPファイルには、チュートリアルに含まれるすべてのオリジナル画像と生成データが含まれています。

このモデルで生成された画像

画像が見つかりません。