Stable Diffusion 1.5および2.1用QRコード条件付きControlNetモデル

モデルの説明

これらのControlNetモデルは、15万組のQRコードとQRコードアートのデータセットで学習されています。これにより、QRコードの基本的な形状を維持しつつ、美的なQRコードベースのアートを生成するための堅牢な基盤を提供します。

Stable Diffusion 2.1版は、私の特定のニーズに対応するために開発されたため、やや効果的です。ただし、古いバージョンを使用しているユーザーのために、同じデータセットで1.5版のモデルも学習されています。

性能と制限事項

これらのモデルはほとんどのケースで優れた性能を発揮しますが、100%の正確性を保証するものではありません。場合によっては、QRコードの形状が期待通りに現れないことがあります。QRコードの形状を強調するには、ControlNetの重みを上げてください。ただし、出力のスタイルに悪影響を及ぼす可能性があるため注意してください。**スキャン最適化のため、QRコードを補正モード'H'（30%）で生成してください。**

スタイルと形状のバランスを取るには、入力内容、希望する出力、および適切なプロンプトに応じて、ControlNetの重みを微調整する必要があります。一部のプロンプトでは、重みを大幅に上げないと効果が得られません。これらの要因間の最適なバランスを見つけるプロセスは、アートと科学の両方の要素を含みます。最良の結果を得るには、768解像度でアートを生成することを推奨します。これにより、最終製品の詳細度が向上し、QRコードベースのアートの品質と効果が高まります。

インストール

最も簡単な使用方法は、.safetensorsモデルとその.yaml設定ファイルを、使用しているアプリケーションごとに異なるControlNetモデルのインストールフォルダに配置することです。

自動1111での使用の場合、これらを webui/models/ControlNet フォルダーに配置してください。ControlNet WebUI拡張機能を使用して読み込むことができ、これはWebUIの拡張機能タブからインストールできます（https://github.com/Mikubill/sd-webui-controlnet）。ControlNetユニットを有効にし、入力画像をQRコードに設定してください。ベースとなるStable Diffusionモデルに応じて、モデルをSD2.1またはSD1.5のいずれかに設定してください。そうでないとエラーが発生します。プリプロセッサは不要ですが、異なる結果を得るために反転プリプロセッサを使用できます。詳細をより多く含めるため、生成には768の解像度が推奨されます。

ControlNetの使用方法で困った場合は、追加情報を調べてください。WebUIを起動・実行した後は、ControlNet拡張機能のインストールも非常に簡単です。