Meia (Mobius Final Fantasy) | Character LoRA

게임 Mobius Final Fantasy에 등장하는 마법사 메이아를 위한 캐릭터 LoRA.

권장 가중치: 0.7 - 1.0 (저는 0.8을 사용하지만, 본인에게 가장 잘 맞는 값을 확인하세요)

트리거 단어: mffmeia, blue eyes, white bra, blue jacket, white corset, white panties 이미지 구성에 따라 의상 태그를 추가/제거하세요(예: 초상화, 상체, 카우보이샷, 발이 프레임 밖, 전신) 및 원하는 다른 옷을 입히고 싶은지에 따라 조정하세요.

옵션 태그(진행 중, 의상 세부 사항을 개선하거나 오히려 악화시킬 수 있음): shoulder armor, short sleeves, elbow gloves, white gloves, blue corset (white corset 대신 사용)

anyloraCheckpoint_novaeFp16에서 학습됨

참고사항(희귀 캐릭터 학습 정보에 관심 있는 분들을 위해)

Mobius는 테마가 펄프 파이널판타지였지만, 거의 아무도 이 게임을 알고 있지 않았고, 2020년에 서비스가 종료된 지금은 거의 기억하는 사람이 없습니다. 생존 기간 동안 수천 시간을 이 게임에 투자하며, 여전히 제가 당시 가장 훌륭한 모바일 게임 중 하나로 여전히 특별한 애정을 가지고 있습니다.

메이아는 알려지지 않은 캐릭터이며, 학습용 이미지도 전혀 없는 잊혀진 게임의 캐릭터이므로, 누군가 이 캐릭터를 위한 LoRA를 만들 것이라고 기대하기 어려웠기 때문에, 제가 직접 학습을 시도하기로 결정했습니다.

게임의 소외된 상태로 인해 학습 데이터를 수집하는 것이 매우 어려웠습니다. 캐릭터의 유일한 다른 이미지들은 게임 내 직업 카드였고, 이들은 흐릿하고 복잡하며 의상과 얼굴이 일관되지 않아 학습에 전혀 부적합했습니다. 몇 장의 노출 스케치가 존재했지만 거의 쓸모가 없었습니다. 이러한 이유로 초기 결과는 매우 열악했고, 저는 게임 내 컷신 영상에서 스크린샷을 캡처하여 상당히 도움이 되었습니다. 그러나 학습 이미지는 여전히 너무 제한적이며, 흐릿하고 저해상도였기 때문에 좋은 결과를 얻기 어려웠습니다.

데이터셋을 개선하기 위해, 저는 Blender와 게임 내에서 추출한 메이아의 3D 모델 및 텍스처를 사용하여 다양한 각도와 자세로 여러 이미지를 렌더링했습니다. 이 모델은 모바일 게임이므로 완벽한 3D 모델은 아니었지만, 평균적으로 최고 품질의 렌더링 이미지들을 데이터셋에 추가한 결과, 생성된 이미지의 품질이 크게 향상되었습니다.

생성된 대부분의 이미지가 매우 "3D"하고 페이스텔(같은) 스타일이었으며, "3d" 또는 "realistic" 같은 태그를 사용해도 제거할 수 없었습니다. 이는 문제가 되었는데, 저는 드로잉된 애니메이션/카툰 이미지를 생성하고 싶었기 때문입니다. 이는 학습 데이터셋 전체가 게임에서 사용된 3D 모델의 스크린샷으로 구성되어 있었기 때문에 당연한 결과입니다.

따라서, 저는 프로토타입 LoRA를 낮은 가중치(0.4-0.6)로 사용하여 여러 체크포인트를 통해 수천 장의 이미지를 생성한 후, 그중 몇 십 장의 품질이 좋은 이미지를 수동으로 선별하여 학습 데이터에 추가했습니다. 이 과정을 몇 차례 반복하며(출력을 다음 버전의 입력으로 사용), 매번 최악의 이미지를 제거하고 최고의 새 이미지를 추가하여, 데이터셋에 더 이상 렌더링/저품질 이미지가 남지 않을 때까지 진행했습니다.

마지막으로, Photoshop을 사용하여 각 이미지의 배경, 복잡한 요소, 손, 조명 등을 수동으로 제거하고 보정하며 학습 데이터를 개선했고, 데이터셋을 더 엄격히 정리하여 최상의 이미지만을 남겼으며, 태그도 가능한 한 정교하게 다듬었습니다.

학습 데이터는 SD로 생성되었기 때문에, 메이아의 기본 의상, 특히 갑옷 부위의 정확도에 일부 minor한 문제가 있습니다. 게임을 플레이해 본 사람이라면, 그녀의 날카로운 갑옷 신발과 은색 장갑을 완벽히 재현하는 것이 어려웠습니다. 다른 요소들과 충돌하는 것처럼 보였기 때문입니다. 그래서 저는 그녀의 푸른 재킷/코트, 코르셋, 레이스 장식이 있는 흰색 브라와 팬티, 그리고 무엇보다 얼굴에 초점을 맞추었습니다. 결과는 충분히 좋다고 생각되지만, 추가적인 고품질 학습 데이터(특히 재킷/코트와 갑옷 세부 사항)를 통해 더욱 향상될 수 있다고 생각합니다. 향후 이를 시도할 계획입니다.

이 모든 것이 사실상 제로에서 시작되었음을 고려하면, 결과에 매우 만족합니다. 이 과정은 망각된 게임의 알려지지 않은 캐릭터를 위해 정상적인 사람이 해야 할 시간보다 훨씬 더 길었기 때문에, 단기간 내에 유사한 작업을 다시 시도할 가능성은 거의 없습니다. 어쨌든, 현재로서는 매우 만족합니다.