fetal movement

v1と同じデータセットですが、最悪の画像を約25％削除しました。

トレーニングノート：

• Kohyaのトレーナー

• 最適化アルゴリズム：ADOPT

• optimizer_args

  • "betas=(0.9, 0.9999)" "eps=1e-7"

  • weight_decayはDoRAの学習を著しく妨害したため、使用せずにトレーニングしました

• DoRa LoCon

• フリーズしたテキストエンコーダー（トレーニング時間は増加しましたが、可能な限りTEには触れないようにしています）

• 学習率：5e-4

• 次元：16

• alpha：8

• conv_dim：8

• conv_alpha：4

• バッチサイズ：8

• GA：16

• 3,000枚の画像

• フリップ

• バケット

• 解像度：1024

• タグドロップアウト：0.1

• ドロップアウト：0.2

• caption_dropout：0.1

• scale_weight_norms：6

• ip_noise_gamma：0.02

• min_snr_gamma：2

• zsnr

• v_pred

• 追加設定：

  • デフォルトの式の代わりにsoft_min_snrを使用

  • 学習されたタイムステップ損失重み：各タイムステップの損失スケールを学習する小さなネットワーク。min_snrと同様の目的

  • 重要なタグを先頭に並べ、他のタグとは別にソート

  • 一般的な暗黙のタグすべてに対してタグ含意ドロップアウト（約40％ドロップ）