Lab @6 : old man girl (with beard)

イントロ

今回：

女の子がひげを生やしたおじいさんのように見えるようにLoRaを訓練しようとしています。

ひげは男性の強力な特徴であるため、プロンプトを使って「1girl, 1boy」の画像で、女の子にひげがあり、男の子にはひげがないように作るのは困難です。そこでこのLoRaは、そのような制御を容易にすることが可能かどうかを試すことを目的としています。

あくまで学習目的のため、真剣に受け取らないでください。

注意：うまくいかない場合は、LoRaの重みを高くしてみてください（例：1.2）。

注意2：データセット（正規化画像セットを含む）が同梱されています。ダウンロードファイル一覧をご覧ください。

後ほど、6回の試行すべてとデータセット、正規化画像をアップロードします。その中で得た知見も含める予定です。

既知の問題：

手や腕が時々不自然になることがあります。

発見

• lab_6_6：有望に見えますが、まだ問題があります。

  • 問題点

    • 色：

      • 茶色系になりがち？

      • 色の豊かさが不足している

    • 画像構成：

      • 手と足の描写が不十分

    • 口：

      • 男性風の女の子は「口を閉じた」状態になりがち

    • スタイル：

      • LoRaが固定されたスタイルを持ってしまっているように感じる

  • 計画

    • データセットを見直す（ソロ版は「品質が低い」可能性がある）

    • このタスクには8枚の画像では不足している

訓練パラメータ

基本パラメータについては、Lab Indexをご確認ください（通常は同じです）。

以下は各ラウンドで試した差分です。

- ラウンド6
    - 訓練データ：
        - データセット
            - 共通トークン：lr-malegirl
                - ひげ関連の部分トークンを含む（ひげの色を制御し、モデルがひげの概念を理解するのを助ける）
            - 4p（20回）、1girl ソロ
            - 4p（20回）、1girl 1boy
        - 正規化画像：通常の1girl、各画像2回
    - サイズ：1024 x 1152
    - DIM：16、8
    - keep N token：1

- ラウンド5
    - 訓練データ：
        - データセット
            - 共通トークン：lr-malegirl
                - ひげ関連トークンなし
            - 4p（20回）、1girl ソロ
            - 4p（20回）、1girl 1boy
        - 正規化画像：通常の1girl、各画像2回
    - サイズ：1024 x 1152
    - DIM：16、8
    - keep N token：1

- ラウンド4
    - 訓練データ：
        - データセット
            - 共通トークン：lr-malegirl
                - ひげ関連トークンなし
            - 4p（10回）、1girl ソロ
            - 4p（10回）、1girl 1boy
        - 正規化画像：通常の1girl、各画像1回
    - サイズ：1024 x 1152
    - DIM：16、8
    - keep N token：1

- ラウンド3
    - 訓練データ：
        - データセット
            - 共通トークン：lr-malegirl
                - ひげ関連トークンなし
            - 4p（15回）、1girl ソロ
        - 正規化画像：通常の1girl、各画像1回
    - サイズ：832 x 1216
    - DIM：16、8
    - keep N token：1

- ラウンド2
    - 訓練データ：
        - データセット
            - 共通トークン：oldmangirl
                - ひげ関連トークンを含む
            - 4p（24回）、1girl ソロ
        - 正規化画像：データセットと同じ、4p（15回）
    - サイズ：832 x 1216
    - DIM：16、8
    - keep N token：0

- ラウンド1
    - 訓練データ：
        - データセット
            - 共通トークン：old man malegirl
                - ひげ関連トークンを含む
            - 4p（15回）、1girl ソロ
        - 正規化画像
            - データセットと同じ、4p（15回）
    - サイズ：832 x 1216
    - DIM：16、8
    - keep N token：0