(Project Sekai) Mochizuki Honami F.1 Dev LoRA Model

모치즈키 호나미 F.1 Dev LoRA 모델

기반 모델 FLUX.1 Dev을 기반으로 한 LoRA 모델입니다.

훈련에 두 가지 유형의 이미지를 사용했습니다: 카드(투명하지 않음)와 컷아웃(투명함). 따라서 배경은 단일 색상이 되며, 유연하지 않을 것입니다. 그래서 배경을 자유롭게 조절할 수 있을 것이라고 생각합니다.

사용법

LoRA는 단어 'mochizuki honami' 하나만으로도 트리거할 수 있지만, 프롬프트에 먼저 '1girl, solo, mochizuki honami'를 추가하는 것을 권장합니다. (nunchaku 워크플로우를 사용하신다면,所謂 트리거 단어조차 필요하지 않습니다.) 또한, Danbooru 데이터셋의 태그만 사용하는 것이 좋습니다.

저는 LoRA의 가중치가 1.25일 때만 테스트해 보았으며, 더 낮은 값으로도 정상적인 출력이 가능한지 확신하지 못합니다. (자신이 직접 테스트해보시고 댓글로 알려주세요.)

nunchaku를 사용해 테스트한 결과,

LoRA 가중치를 1로 설정해도 사용 가능하며, 프롬프트 입력에 LoRA 파일 이름을 추가할 필요도 없습니다.

캐릭터 소개

Sekaipedia

---

이전 LoRA 배포 이후 또다시 거의 6조 년이 지났네요(bushi). 방학 초반에는 여러 잡무에 시달렸지만, 지금은 여름 방학이라 드디어 정상 궤도로 돌아와 계속 진행하기로 결정했습니다.

기본 훈련 파라미터

자료는 주로 캐릭터 카드(Cards + Cutouts)를 사용했으며, Cutouts은 투명하지만 Cards는 투명하지 않습니다.

훈련 스크립트는 sd-scripts의 sd3 분기를 그대로 사용했고, fluxgym의 스크립트에서 영감을 받아 직접 작성하고 데이터 설정을 구성했습니다.

제 노트북 사양이 좋지 않아 매번 훈련 효율이 낮으며, 아직까지 avr_loss를 효과적으로 줄일 방법을 찾지 못했습니다(스탭을 늘리면 가능하지만 시간이 더 걸립니다). 게다가,

이 LoRA의 사용법

SD 1.5 LoRA와 마찬가지로, FLUX.1 Dev 기반 모델을 사용하고, 트리거 단어 'mochizuki honami'로 LoRA를 활성화하세요. (작은 팁: nunchaku 워크플로우를 사용하시면 이 트리거 단어조차 입력할 필요 없이 바로 캐릭터의 핵심 특징을 작성하면 됩니다.) 기본 가중치는 1로 설정하세요. 물론 캐릭터의 기본 특징이 확실히 트리거되도록 "이번 훈련에서 전략적으로 일부 태그를 제거해 기본 캐릭터 특징을 고정"했기 때문에, "1girl, solo, mochizuki honami" 등의 특징어를 추가하는 것이 권장됩니다. 또한 DeepBooru 어휘집의 단어만 사용하는 것이 좋습니다.

직면한 도전

이 LoRA는 새로운 캐릭터에만 초점을 맞춰 훈련되었기 때문에, 사지 등 세부적인 부분에서 여전히 많은 한계가 있습니다. 안타깝게도, f.1은 SD 1.5처럼 임시로 신체 문제를 해결할 수 있는 embeddings를 자유롭게 추가할 수 없습니다. 제 판단은, 계속 뽑아보는 수밖에 없네요 (

(물론 우수한 해결책이 있다면 댓글로 알려주시면 정말 감사하겠습니다 x)