멜리타:

캐릭터 회전 테스트를 간단히 진행 중입니다. 멜리타의 디자인은 매우 단순하므로 일관성에 큰 기대를 하지 않았고, 루프백 테스트를 위한 기준선 정도만 확보하고자 했습니다. 불행히도 성과가 별로 없었기 때문에 이에 대한 기사 작성은 가치가 없어 보입니다. 향후 더 강도 높은 테스트를 위해 더 복잡한 세부 디자인을 가진 캐릭터를 설계해야 할 것 같습니다. Illustrious의 경우, 적절한 프롬프트/아티스트 키워드를 사용하는 것이 포즈에 도움이 되는 것 같습니다. 데이터셋은 제한적인 회전 각도만 포함되어 있어 포즈가 매우 딱딱합니다. anytest CN은 캐릭터에 차원성을 추가하는 데 도움이 되며, 이는 멜리타의 디자인이 매우 단순하기 때문에 가능하다고 생각합니다.

프리스카

복잡한 캐릭터 디자인입니다. 이미지는 옷차림을 기준으로 매우 선별적으로 선택되었지만, LoRA는 인페인팅 면에서 매우 우수한 성능을 보입니다. 루프백 사용으로 인해 다른 LoRA들보다 더 과적합된 상태입니다.

엘리스

이번에는 액세서리 학습 및 클러스터된 객체와 루프백 실험을 위한 비교적 단순한 캐릭터 디자인을 테스트했습니다.

3/4/24 업데이트:

SDXL 학습을 이용한 블라인드 테스트. 이후 이에 대한 기사를 작성할 예정입니다. 자세한 내용은 '이 모델에 대해'를 참조하세요.

Kie 권장 가중치: 1

이제 스타일을 위한 데이터셋을 증강하기 위해 txt2img ControlNets를 사용하고 있으므로 페이지 제목을 변경할 필요가 있을 것 같습니다. (LoRA를 루프백에 사용했지만 가중치를 0.1~0.2로 낮춰 효과를 약화시켰습니다. LoRA 없이 또 한 번 실험했으나 차이가 거의 눈에 띄지 않았습니다.) 증강의 구체적인 내용은 아래를 참고하세요.

• Enna LoRA는 회전 테스트에서 발생하는 오류가 LoRA 디자인에 어떤 영향을 미치는지 확인하기 위해 단순한 디자인을 사용합니다.

설명

이곳은 단일 이미지 OC LoRA 실험을 기록하는 공간입니다. 최소한의 노력을 통해 일관된 캐릭터 LoRA를 만드는 것이 목표입니다. 시간을 충분히 투자한다면, 이 튜토리얼(저의 것이 아님)을 통해 일관된 캐릭터를 생성할 수 있습니다. 이 실험들은 정확한 LoRA를 생산하기보다는 학습 목적이 강합니다. 데이터셋이 제한적이기 때문에, 지금까지 테스트하지 않은 이상한 상황에서 과적합될 가능성이 높습니다. 향후 이 과정에 대한 기사를 작성할 예정입니다.

작업 흐름 관련 기사

• 파트 1

• 파트 2

이미지는 물론 adetailer와 hi-res fix(AnimeSharp4x\UltraSharp4x, 노이즈 감소 강도 0.2~0.5)를 사용해 엄선했습니다.

이사벨라의 원본 이미지는 V1의 두 번째 이미지입니다. (기본 프롬프트가 유용할 수 있습니다)

사용법

V4 권장 가중치: (0.5~0.8) 블록 가중치는 도움이 되지만 필수는 아닙니다.

권장 가중치: 0.6 ~ 0.8 + (OUTD 프리셋 추천; 버전 3의 경우 블록 가중치 확장이 매우 권장됨)

Enna: 권장 가중치: 0.8 ~ 1 (개념 누수 발생 시 낮추세요)

캐릭터 비율을 정확히 얻기 위해 flat_chest, petite 등의 용어를 사용하세요.

블록 가중치 확장 사용 시 가중치 1만으로도 충분하지만, 커스텀 옷을 원한다면 가중치를 낮춰야 합니다. 성공적으로 작동하려면 캐릭터와 환경을 자세히 설명하는 장문의 프롬프트가 필요합니다.

애니메이션 스타일 기반 모델에서는 충분히 잘 작동할 것으로 예상되며, 리얼리스틱 또는 세미리얼리스틱 모델은 시도하지 않았습니다. 인페인팅 작업 흐름과 가장 잘 어울립니다.

문제점

• 색상 및 옷차림의 일관성 부족

• 얼굴 표정이 과적합됨

• 머리카락 라인이 가끔 뒤집힘

• V2가 V3보다 더 나음; 장애에 부딪혔지만 현재 결과를 우선 게시하기로 결정함

학습

V1

• 전체 신체 이미지 1장 + 얼굴 클로즈업 이미지 1장(동일한 이미지)

• NovelAi에서 학습

V2

• V1 데이터셋 재사용

• 상반신, 하반신, 레깅스 클로즈업 추가

• 반복 횟수 감소

• 캡션 증가

V3

• 플리핑 증강 제거

• V1 데이터셋 재사용

• 머리와 스커트, 부츠까지의 3/4 이미지, 앞머리 클로즈업 추가

• 캡션 증가

기타

• 이사벨라의 경우 한계에 부딪혔을 가능성이 높아 LoRA를 더 이상 개선하기 어려울 수 있습니다. kohyaSS 트레이너로 시도할 수 있는 몇 가지 방법이 있지만 큰 기대는 하지 않습니다. 주된 제약은 기본 이미지의 품질이 높지 않고 줌업 시 이미지 아티팩트가 존재한다는 점입니다.

V4

• V3 데이터 재사용

• 정규화 데이터를 메인 데이터셋으로 이동하고 스타일 트리거 단어 추가

• txt2img를 사용해 canny 및 lineart와 리전 프롬프터를 활용해 스타일 이미지 추가, 데이터셋을 스타일용으로 증강, 태그: 'alternativecostume'

  • 유사한 색상을 가진 이미지 선정

• 스타일 및 옷차림 트리거 단어 추가

• n 토큰을 4개로 증가

• 학습 시 블록 가중치 제거

Enna

V1

• 캐릭터 회전을 기반으로 함

• V4의 동일한 개념 사용

V1.1

• 캡션 추가 및 학습률을 1/10로 감소시킨 사소한 업데이트

V2

• 수영복 및 속옷의 전체 회전 이미지 추가