(BanG Dream!) Hanazono Tae F.1 Dev LoRA Model
세부 정보
파일 다운로드
모델 설명
한자노 타이 F.1 Dev LoRA 모델
기반 모델인 FLUX.1 Dev를 기반으로 한 LoRA 모델입니다.
훈련에 투명 이미지만 사용했기 때문에 배경은 단색이 될 것이며, 유연하지 않을 것 같습니다.
사용법
LoRA는 단어 'hanazono tae' 하나로 트리거할 수 있습니다. 하지만 여전히 트리거 단어 뒤에 '1girl, solo, green eyes, black hair'를 추가하는 것을 권장합니다. (nunchaku 워크플로우를 사용한다면,所謂 트리거 단어조차 필요하지 않습니다.)
또한, LoRA의 가중치를 1.25로만 테스트해봤으며, 더 낮은 값으로도 정상적인 출력이 가능한지 확신할 수 없습니다. (자신이 테스트해보시고 댓글에 알려주세요.)
sdvquant의 도움을 받아 테스트한 결과, LoRA의 가중치를 1로 설정해도 사용 가능하며, 프롬프트 입력에 LoRA 파일명을 추가할 필요가 없습니다.
캐릭터 소개
이전에 LoRA를 발표한 지 거의 육조 년이 지났습니다(bushi). 그 사이에 제가 겪은 일들이 너무나도 많았습니다. 하지만 마침내 정상 궤도로 돌아와 계속 진행하기로 결정했습니다. (아시겠지만, 학생 기숙사의 전력 공급 상태가 매우 좋지 않아 때때로 ‘전력 과다 위반’이라는 이유로 반복적으로 정전이 발생합니다.)
기본 훈련 파라미터
자료는 캐릭터 카드 이미지 중심으로 사용했으며, 제가 보유한 카드 이미지 모두 투명 배경이기 때문에 최종 출력물의 배경은 기본적으로 단색이 됩니다(물론 항상 그렇지는 않지만, 배경을 명시적으로 강조하지 않는 한 배경은 불확정적입니다. 배경에 대한 프롬프트는 여러분이 자유롭게 실험해보세요). 이후 클리핑 작업에 유리합니다(확신).
훈련 스크립트는 sd-scripts의 SD3 분기 버전을 직접 사용했으며, fluxgym이 작성한 스크립트에서 영감을 받아 수작업으로 스크립트 및 데이터 설정을 완성했습니다.
제 노트북 사양이 낮기 때문에 훈련 효율이 떨어지며, 지금까지 avr_loss를 효과적으로 줄일 방법을 찾지 못했습니다(스텝 수를 늘리는 것 외에는요. 그러나 그럴수록 시간이 더 오래 걸립니다).
이 LoRA 사용 방법
SD 1.5 LoRA를 사용하는 것과 동일하게, FLUX.1 Dev 베이스 모델을 사용하고, 트리거 단어 'hanazono tae'로 LoRA를 활성화하세요. (작은 팁: nunchaku 워크플로우를 사용하여 이 LoRA를 로드한다면, 이 트리거 단어조차 필요하지 않으며, 캐릭터의 주요 특징을 직접 작성하기만 하면 됩니다.) 현재까지 테스트한 가중치는 1.25이며, 그보다 낮거나 높은 값은 테스트하지 않았습니다. 가중치를 1로 설정할 수도 있습니다. 물론 캐릭터 특징이 정확히 반영되도록 "1girl,solo,green eyes,black hair"와 같은 특징어를 추가하는 것을 권장하며, 가능한 한 DeepBooru 어휘 사전의 단어만 사용하세요.
직면한 도전
이 LoRA는 새로운 캐릭터의 훈련만으로 이루어졌기 때문에 사지나 세부적인 부분에서 아직 많은 한계가 있습니다. 안타깝게도, F.1은 SD 1.5처럼 임시로 관절 문제를 해결하기 위해 임베딩을 자유롭게 추가할 수 없습니다. 제 평가는, 계속해서 뽑기를 반복하는 수밖에 없습니다(
(물론, 더 나은 해결책이 있다면 댓글로 알려주세요. 진심으로 감사드립니다 x)