Lab @6 : old man girl (with beard)

서론

이번에는:

소녀가 수염을 단 남성처럼 보이도록 LoRa를 학습시켜보려 합니다.

수염은 남성의 강력한 특징이므로, 프롬프트를 통해 1girl, 1boy 이미지에서 소녀는 수염이 있고 남성은 수염이 없도록 만드는 것이 어렵습니다. 따라서 이 LoRa는 이를 더 쉽게 구현할 수 있는지 실험해보는 데 목적이 있습니다.

오로지 학습 목적을 위한 실험입니다. 너무 심각하게 받아들이지 마세요.

참고: 제대로 작동하지 않으면 LoRa의 가중치를 높여보세요(예: 1.2).

참고 2: 데이터셋(정규화 이미지 세트 포함)이 함께 제공됩니다. 다운로드 파일 목록을 확인하세요.

나중에 6번의 시도 전체와 데이터셋, 정규화 이미지를 업로드할 예정입니다. 그동안 제가 얻은 교훈도 함께 공유할 예정입니다.

알려진 문제:

손과 팔이 가끔 제대로 생성되지 않습니다.

발견 사항

• lab_6_6: 유망해 보이지만 여전히 문제점이 존재합니다.

  • 문제점

    • 색상:

      • 갈색 톤으로 치우치는 경향이 있음?

      • 색상이 충분히 풍부하지 않음

    • 이미지 구성:

      • 손과 발이 잘 그려지지 않음

    • 입:

      • 남성화된 소녀는 "입을 다물고" 있는 경향이 있음

    • 스타일:

      • LoRa가 고정된 스타일을 갖는 것처럼 느껴짐

  • 계획

    • 데이터셋을 수정해보기 (솔로 버전의 품질이 낮음)

    • 이 작업에는 8장의 이미지가 충분하지 않음

학습 파라미터

기본 파라미터는 Lab Index를 참고하세요(일반적으로 동일합니다).

아래는 각 라운드에서 시도한 차이점입니다.

- 라운드 6
    - 학습 대상:
        - 데이터셋
            - 공통 토큰: lr-malegirl,
                - 부분적으로 수염 관련 토큰 포함(수염 색상을 제어하고, 모델이 수염을 이해하도록 돕기 위해)
            - 4p(20회), 1girl 솔로,
            - 4p(20회), 1girl 1boy,
        - 정규화: 일반 1girl, 각 이미지당 2회
    - 크기: 1024 x 1152
    - DIM: 16, 8
    - keep N 토큰: 1

- 라운드 5
    - 학습 대상:
        - 데이터셋
            - 공통 토큰: lr-malegirl,
                - 수염 관련 토큰 없음,
            - 4p(20회), 1girl 솔로,
            - 4p(20회), 1girl 1boy,
        - 정규화: 일반 1girl, 각 이미지당 2회
    - 크기: 1024 x 1152
    - DIM: 16, 8
    - keep N 토큰: 1

- 라운드 4
    - 학습 대상:
        - 데이터셋
            - 공통 토큰: lr-malegirl,
                - 수염 관련 토큰 없음,
            - 4p(10회), 1girl 솔로,
            - 4p(10회), 1girl 1boy,
        - 정규화: 일반 1girl, 각 이미지당 1회
    - 크기: 1024 x 1152
    - DIM: 16, 8
    - keep N 토큰: 1

- 라운드 3
    - 학습 대상:
        - 데이터셋
            - 공통 토큰: lr-malegirl,
                - 수염 관련 토큰 없음,
            - 4p(15회), 1girl 솔로,
        - 정규화: 일반 1girl, 각 이미지당 1회
    - 크기: 832 x 1216
    - DIM: 16, 8
    - keep N 토큰: 1

- 라운드 2
    - 학습 대상:
        - 데이터셋
            - 공통 토큰: oldmangirl,
                - 수염 토큰 포함,
            - 4p(24회), 1girl 솔로,
        - 정규화: 데이터셋과 동일, 4p(15회)
    - 크기: 832 x 1216
    - DIM: 16, 8
    - keep N 토큰: 0

- 라운드 1
    - 학습 대상:
        - 데이터셋
            - 공통 토큰: old man malegirl,
                - 수염 토큰 포함,
            - 4p(15회), 1girl 솔로,
        - 정규화
            - 데이터셋과 동일, 4p(15회)
    - 크기: 832 x 1216
    - DIM: 16, 8
    - keep N 토큰: 0