Hanasato Minori F.1 Dev LoRA Model
세부 정보
파일 다운로드
모델 설명
Hanasato Minori F.1 Dev LoRA 모델
기반 모델 FLUX.1 Dev을 기반으로 한 LoRA 모델입니다.
훈련에 두 가지 유형의 이미지를 사용했습니다: 카드(투명 아님)와 컷아웃(투명). 따라서 배경은 단일 색상이 되며 유연하지 않을 것 같습니다. 따라서 배경은 자유롭게 조정할 수 있을 것이라 생각됩니다.
사용 방법
이 LoRA는 단일 단어 'hanasato minori'로 트리거할 수 있지만, 캐릭터 특징이 100% 정확하게 출력되도록 프롬프트에 먼저 'hanasato minori, medium hair, grey eyes, brown hair'를 추가하는 것을 권장합니다. (nunchaku 워크플로우를 사용한다면 이所谓的 트리거 단어조차 필요하지 않습니다.) 또한 Danbooru 데이터셋의 태그만 사용하는 것을 권장합니다.
저는 LoRA 가중치를 1.25로 테스트해보았을 뿐이며, 더 낮은 값으로도 정상적인 출력이 가능한지는 잘 모르겠습니다. (자신이 직접 테스트해보고 댓글로 알려주시면 감사하겠습니다.)
nunchaku를 활용한 제 테스트 결과,
LoRA 가중치를 1로 설정해도 사용 가능하며, 프롬프트 입력에 LoRA 파일 이름을 추가할 필요가 없습니다.
캐릭터 소개
몇 가지 기본 훈련 파라미터
훈련 데이터는 주로 캐릭터 카드 이미지(Cards + Cutouts)로 구성되었습니다. Cutouts는 투명하지만 Cards는 투명하지 않습니다.
훈련 스크립트는 sd-scripts의 SD3 분기 버전을 직접 사용했으며, fluxgym의 스크립트를 참고하여 직접 제작하고 데이터 설정을 구현했습니다.
제 노트북 사양이 낮아 훈련 효율이 떨어지며, 지금까지 avr_loss를 효과적으로 낮출 수 있는 방법을 찾지 못했습니다(스텝 수를 늘리면 효과는 있지만 시간이 더 오래 걸립니다).
이 LoRA 사용법
SD 1.5 LoRA를 사용하는 것과 동일하게, FLUX.1 Dev 베이스 모델을 사용하고, 트리거 단어 'hanasato minori'로 LoRA를 활성화하세요. (작은 팁: nunchaku 워크플로우를 저와 동일하게 사용한다면 이所谓的 트리거 단어조차 입력할 필요 없이, 바로 캐릭터의 주요 특징을 작성하기만 하면 됩니다.) 가중치는 기본값 1로 설정即可. 다만, 캐릭터의 기본 특징이 100% 정확하게 출력되도록(최근 훈련 전략의 변화로, 몇몇 태그를 제거하여 기본적인 인물 특징을 고정했습니다) "hanasato minori, medium hair, grey eyes, brown hair" 등의 특징어를 추가하는 것이 좋으며, 가능한 한 DeepBooru 어휘집의 단어만 사용하세요.
직면한 도전
이 LoRA는 새로운 캐릭터에 대한 단일 훈련에만 초점을 맞췄기 때문에, 신체 구조와 같은 세부 요소에서 여전히 큰 한계가 있습니다. 안타깝게도 F.1은 SD 1.5처럼 임베딩을 네거티브 프롬프트로 자유롭게 추가해 신체 문제를 일시적으로 해결할 수 없습니다(정확히 말하자면 불가능한 것은 아니지만, 그렇게 하면 샘플링 속도가 매우 느려져 생성 효율이 크게 떨어집니다). 제 판단으로는 반복적으로 추출하는 수밖에 없습니다(
(물론 더 나은 해결책이 있다면 댓글로 알려주세요. 감사합니다 x)