[LuisaP] Tutorial Hypernetwork - Monkeypatch method

clip 2, vae on, ハイパーネットワーク強度 1.

トレイン セクションの create Beta hypernetwork へ移動します。
以下のレイヤー構造を設定してください：1,0.1,0.1,1 // ありがとうございます queria! 私はこれの設定がとても気に入っています。
ハイパーネットワークの活性化関数を選択：tanh
レイヤー重みの初期化方法を選択：xavier normal
最後に、ハイパーネットワークを作成してください。
今度は Train_Gamma で、新しく作成したハイパーネットワークを選択してください。
ハイパーネットワークの学習率：6.5e-3 「これは数学的な計算のため」で、まったく問題ありません。また、6.5e-4 にするとオリジナル画像への影響が小さくなります。
高度な学習率スケジューラオプション（ハイパーネットワーク用）を有効化 し、CosineAnnealingWarmupRestarts スケジューラを使用 します。
サイクルあたりのステップ数 = データセット内の画像枚数。
サイクルごとのステップ倍率：1.1 または 1.2
サイクルごとのウォームアップステップ数 = 画像枚数の半分。
ベータスケジューラの最小学習率 = 1e-5 [または 6.5e-7、データセットからのスタイルの影響が弱くなりますが、より高い制御性が得られます]
サイクルごとに学習率を減衰させる：0.9 または 1

15a バッチサイズ 2, grad 1, ステップ数 1000.

15b もちろん、以下も可能です：[バッチサイズ 2, grad（データセット内の画像枚数 ÷ 2）] その場合、約 250 ステップで十分ですが、個人的にはこれにはあまり満足していません。

プロンプトファイルは必ず style.txt である必要があります。
また、「プレビュー作成時に txt2img タブのパラメータ（プロンプトなど）を読み込む」を有効にすると、Prompt に記載されたスタイルを反映した結果を確認できます。たとえば私の場合、「赤い着物を着た女性」です。

補足：私は 2 クリップスキップ、ハイパーネットワークなし、ハイパーネットワーク強度 1 でトレーニングを行っています。