(Project Sekai) Hoshino Ichika F.1 Dev LoRA Model
세부 정보
파일 다운로드
모델 설명
Hoshino Ichika F.1 Dev LoRA 모델
FLUX.1 Dev 베이스 모델을 기반으로 한 LoRA 모델입니다.
훈련에 두 종류의 이미지를 사용했습니다: 카드(투명 아님)와 컷아웃(투명). 따라서 배경은 단일 색상이 될 것이며, 유연하지 않을 것 같습니다. 그래서 배경을 자유롭게 조절할 수 있다고 생각합니다.
사용 방법
이 LoRA는 단일 단어 'hoshino ichika'로 트리거할 수 있습니다. 그러나, 캐릭터 특징이 정확히 반영되도록 프롬프트에 먼저 'hoshino ichika, long hair, blue eyes (또는 grey eyes), black hair (아마 'blue hair'도 괜찮을까요?)'를 추가하는 것을 권장합니다. (ComfyUI-nunchaku 워크플로우를 사용한다면,所謂 트리거 단어조차 필요하지 않습니다.) 또한, Danbooru 데이터셋의 태그만 사용하는 것이 좋습니다.
저는 LoRA의 가중치가 1.25일 때만 테스트해보았으며, 더 낮은 값으로도 정상적인 출력이 가능한지 확신할 수 없습니다. (직접 테스트해보시고 댓글에 알려주세요.)
nunchaku를 사용해 테스트한 결과, LoRA 가중치를 1로 설정해도 사용 가능하며, 프롬프트 입력에 LoRA 파일 이름을 추가할 필요가 없습니다.
캐릭터 소개
몇 가지 기본 훈련 파라미터
자료는 주로 캐릭터 카드( Cards + Cutouts)로 구성되며, Cutouts는 투명하지만 Cards는 투명하지 않습니다.
훈련 스크립트는 sd-scripts의 sd3 분기판을 그대로 사용하며, fluxgym의 스크립트 작성 방식을 참고하여 직접 수작업으로 스크립트와 데이터 설정을 구성했습니다.
제 노트북 사양이 좋지 않아 매번 훈련 효율이 낮으며, 지금까지 avr_loss를 효과적으로 줄일 수 있는 방법을 찾지 못했습니다(스텝을 늘리는 방법 외에는요. 하지만 그렇게 하면 시간이 더 오래 걸립니다).
이 LoRA를 어떻게 사용하나요?
SD 1.5 LoRA를 사용하는 것과 동일하게, FLUX.1 Dev 베이스 모델을 사용하고, 트리거 단어 'hoshino ichika'로 LoRA를 활성화하세요. (작은 팁: ComfyUI-nunchaku 워크플로우를 사용해 이 LoRA를 로드한다면, 이 트리거 단어조차 필요 없습니다. 바로 캐릭터의 주요 특징만 작성하면 됩니다.) 가중치는 기본값 1로 사용하셔도 됩니다. 물론 캐릭터의 기본 특징이 정확히 트리거되도록 "hoshino ichika, long hair, blue eyes (또는 grey eyes), black hair (아마 'blue hair'도 괜찮을까요?)"와 같은 특징어를 추가하는 것을 권장합니다. 그리고 가능한 한 DeepBooru 어휘집의 단어만 사용하세요.
마주친 문제점
이 LoRA는 신규 캐릭터에 대한 훈련만 수행되었기 때문에, 사지 등 세부적 요소에 여전히 큰 한계가 있습니다. 안타깝게도, f.1은 SD 1.5처럼 임시로 팔다리 문제를 극복할 수 있는 embeddings를 자유롭게 추가할 수 없습니다(이미지 흐름을 제어하기 위해 ControlNet을 추가하는 것이 효과적일 수 있습니다). 제 평가로는, 계속해서 뽑아보는 수밖에 없네요 (
(물론 더 나은 해결책이 있으시다면 댓글로 알려주세요. 정말 감사드립니다 x)