(Project Sekai) Asahina Mafuyu F.1 Dev LoRA Model
세부 정보
파일 다운로드
모델 설명
아사히나 마후유 F.1 Dev LoRA 모델
기반 모델인 FLUX.1 Dev를 기반으로 한 LoRA 모델입니다.
훈련에 두 가지 유형의 이미지를 사용했습니다: 카드(투명하지 않음)와 컷아웃(투명). 따라서 배경은 단색이 될 것이고, 유연하지 않을 것 같습니다. 그래서 배경은 자유롭게 조절하실 수 있을 것 같습니다.
사용 방법
LoRA는 단어 하나만으로 'asahina mafuyu'로 트리거할 수 있지만, 프롬프트에 먼저 '1girl, solo, asahina mafuyu'를 추가하는 것을 권장합니다. (nunchaku 워크플로를 사용하신다면, 이所谓的 트리거 단어조차 필요하지 않습니다.) 또한, Danbooru 데이터셋의 태그만 사용하는 것이 좋습니다.
저는 LoRA의 가중치가 1.25인 경우에만 테스트해 보았고, 더 낮은 값으로도 출력이 정상적으로 나오는지 확신할 수 없습니다. (자신이 직접 테스트해보시고 댓글로 알려주시면 감사하겠습니다.)
nunchaku를 사용해 테스트한 결과,
LoRA 가중치를 1.0으로 설정해도 사용 가능하며, 프롬프트 입력에 LoRA 파일명을 추가할 필요가 없습니다.
캐릭터 소개
이전 LoRA 발표 이후 또 다시 거의 육조 년이 지났습니다(bushi). 방학 초반에는 잡다한 일로 바빴지만, 이제 여름방학이라서 드디어 정상 궤도로 돌아와 계속 진행하기로 결정했습니다.
기본 훈련 파라미터
자료는 주로 캐릭터 카드(cards + cutouts)로 구성되었습니다. 이 중 _cutouts_는 투명하지만, _cards_는 투명하지 않습니다.
훈련 스크립트는 sd-scripts의 SD3 분기 버전을 그대로 사용했으며, fluxgym의 스크립트 작성 방식을 참고하여 직접 제작하고 데이터 설정을 수작업으로 완성했습니다.
제 노트북 사양이 낮아 훈련 효율이 떨어지며, 지금까지 avr_loss를 효과적으로 줄일 수 있는 방법을 찾지 못했습니다(단, steps를 늘리면 시간이 더 오래 걸리지만 효과는 있습니다).
이 LoRA를 어떻게 사용하나요?
SD 1.5 LoRA를 사용하는 방식과 동일하게, FLUX.1 Dev 베이스 모델을 사용하고, 트리거 단어 'asahina mafuyu'로 LoRA를 활성화하세요. (작은 팁: nunchaku 워크플로를 저와 동일하게 사용하신다면, 이 트리거 단어조차 입력할 필요 없이 바로 캐릭터의 주요 특징을 작성하시면 됩니다.) 가중치는 기본값 1.0으로 사용하시면 됩니다. 물론, 캐릭터의 기본적인 특징이 제대로 트리거되도록 "이번 훈련에서 설정을 변경해 일부 태그를 제거해 기본 특징을 고정"했습니다. 따라서 "1girl, solo, asahina mafuyu"와 같은 특징어를 추가하는 것을 권장하며, 가능한 한 DeepBooru 어휘집의 단어만 사용하세요.
직면한 도전
이 LoRA는 새로운 캐릭터를 위한 단일 훈련이기 때문에, 신체 부위 등 세부 요소에서 아직 큰 미흡이 있습니다. 안타깝게도, f.1은 SD 1.5처럼 임시로 신체 문제를 극복하기 위해 embeddings를 자유롭게 추가할 수 없습니다. 제 판단은, 반복적으로 뽑는 수밖에 없다는 것입니다(
(물론 더 나은 해결책이 있으시다면 댓글로 알려주세요. 정말 감사하겠습니다 x)