[Negative LoRA] for RouWei - v0.6.1 vpred
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
경고: 이 LoRA는 v-pred 체크포인트에서만 작동하며, 전용으로 RouWei v0.6.1 v-pred용입니다.
RouWei는 _Minthybasis_가 개발한 Illustrious 기반 모델입니다: (/model/950531?modelVersionId=1130140)
긍정 프롬프트에 다음을 입력하세요:
부정 프롬프트에 다음을 입력하세요 (선택 사항):
(by pfc:1.0)
권장 강도: 0.1에서 1.0
모델 설명:
이것은 RouWei를 사용하여 출력의 미적 품질을 향상시키려는 실험적 시도입니다. 이 LoRA를 적용하면 세부 사항을 개선하고 해부학적 세부 정보를 수정하며 배경 세부 정보를 향상시키는 데 도움이 될 수 있습니다.
v2 버전은 첫 번째 버전이며 여전히 개선의 여지가 있습니다.
알려진 한계:
부정 프롬프트에 "by pfc"를 포함하면 때때로 아무런 효과도 없습니다.
LoRA의 강도를 너무 높이면 트리거 단어 없이도 이미지가 '포니화'될 수 있습니다.
높은 CFG 스케일에서 이상한 아티팩트가 발생합니다.
데이터셋 / 학습 세부 정보:
데이터셋은 CivitAI에서 가져온 360장의 AI 생성 이미지로 구성되며, 주로 Pony Diffusion XL / Animagine 파생 모델에서 유래했습니다.
가설은, RouWei가 보유한 방대한 예술가 지식을 활용하여 "포니" 스타일을 고유한 토큰과 연결하여 부정 토큰으로 사용할 수 있다는 것입니다.
학습에 사용된 이미지의 대부분은 다음 중 하나 이상의 문제를 겪습니다:
고주파 세부 정보
흐릿해진 색상
미세한 번짐/안개
불안하거나 기묘한 얼굴
지루한 구성
제가 싫어하는 이미지
이미지들은 모두 "by pfc"로 캡션 처리되었습니다. 이는 학습 전에는 희귀 토큰이며 거의 영향이 없었기 때문입니다.
추가 정보:
RTX 4090에서 배치 크기 8, 그라디언트 누적 단계 8로 60 에포크(약 2시간) 학습 (총 100 에포크 중)
100 에포크에 도달하기 전에 학습을 중단했기 때문에 아마도 미숙한 상태입니다.
U-Net만 학습됨
네트워크/Conv 랭크 8, 알파 4로 효과를 완화
가장 최신이자 최고의 ProdigyWithScheduleFree 최적화기(https://github.com/kohya-ss/sd-scripts/issues/1796) 사용 (v-pred 모델은 학습이 어려움)
Debiased Estimation Loss가 Min Gamma SNR보다 더 우수함
계획:
데이터셋을 가장 못생긴 이미지만으로 확장/정리
DoRA로 학습 시도
태그를 사용해 학습 시도 (결과가 나빠지지 않는 한)