Jet Set Radio 🎨 Flux.1-D

개요

이 LoRA는 Jet Set Radio의 캐릭터 아트워크를 기반으로 하며, 약간의 실험적인 시도였습니다. 일반적으로 Flux LoRA를 만들 때 따르는 모든 규칙을 위반한 데이터셋을 사용했기 때문에, 이 것이 제대로 작동할 것이라 기대하지 않았습니다.

😨 단 26장의 이미지만 사용했습니다. (저에게는 200장 미만의 이미지로 LoRA를 만든다는 것조차 이단입니다!)
😨 모든 이미지가 흰 배경 위의 캐릭터 아트워크뿐이었습니다. (다양성 부족이 매우 아팠고, 단 하나의 증강도 적용하지 않았습니다!)
😨 캡션은 극히 minimal하여 단순히 "JSR style"만 사용했습니다. (저는 JoyCaption의 열성적인 팬인데, 이 것은 모욕처럼 느껴졌습니다!)

그럼에도 불구하고 결과는 꽤 좋았습니다. 조금 이상하고 특이한 분위기를 지니고 있지만, 저는 이걸 좋아합니다. 물론 게임 내 그래픽 스타일을 완벽히 재현하진 못합니다(아트워크만 사용했기 때문입니다). 그러나 스타일은 명확하게 인식 가능하고 독특합니다.

이 모델은 주로 짧은 프롬프트를 선호하며, 사진 관련 요소가 언급되거나 프롬프트가 지나치게 세부적일 경우 실사 배경으로 돌아가는 경향이 있습니다. 이는 데이터셋에 실제 환경이 아닌 흰 배경 이미지만 포함되어 있었기 때문입니다. 게다가, 가끔 이런 현상이 멋진 효과를 만들어내기도 합니다. 캐릭터가 실제 세계 속에서 만화 영웅처럼 보이게 되는 것이죠.

또한, 프롬프트에 배경이 명시되지 않으면 기본적으로 단순한 흰 배경이 적용됩니다. 프롬프트에 인물이 포함되지 않더라도 종종 인물이 삽입되므로, 전경에 무엇이 등장해야 할지 명확히 기술하는 것이 좋습니다.

이러한 문제를 해결하기 위해, 이 LoRA 자체를 기반으로 한 합성 데이터셋으로 모델을 재학습할 계획입니다.

사용법

갤러리 이미지는 다음 설정으로 생성되었습니다:

모델: flux1-dev (fp8e4m3fn)
텍스트 인코더: t5pxxl_fp16
샘플러: euler
스케줄러: 24단계 (일반)
Flux 가이던스: 4
LoRA 강도: 1

학습

이 LoRA는 RTX 3090에서 AI Toolkit을 사용하여 다음 하이퍼파라미터로 미세 조정되었습니다:

Rank/alpha: 8/1
최적화기: prodigy
스텝: 2800
배치 크기: 1
학습률: 1
학습률 스케줄러: cosine
분리: true
편향 보정 사용: true
베타: (0.9, 0.99)
가중치 감쇠: 0.01
D-계수: 0.9
노이즈 오프셋: 0.1
해상도: (512, 768, 1024)