Aiko Umesawa ( Danganronpa ) [SD 1.5]

다앙론파 3 애니메이션의 우메사와 아이코. 별명은 피카츄 소녀, 또는 노란 후디와 프라이팬을 들고 있는 다앙론파 3 애니메이션의 학생회원. 이건 훈련 데이터가 극도로 제한된 상황에서 내가 얼마나 잘 할 수 있는지 실험하기 위해 시작됐다. 이후 플럭스에서 SDXL로 옮겼고, 이는 더 낮은 데이터 소스로 인해 더욱 심각한 문제를 겪는다. 그다음에 1.5로 옮겼을 때는 더욱 어려워졌을까? 이 LoRA가 문제를 겪는 건 그리 놀라운 일이 아니다. 하지만 문제가 있더라도 나는 이 결과를 받아들일 수 있다고 생각한다. 이 LoRA를 사용할 때는 그 실험적인 성격을 항상 염두에 두기 바란다. 처음부터 사용 가능하다는 사실 자체가 약간의 일관성 부족보다 더 놀라운 일이다. 그녀는 다앙론파 3 애니메이션의 한 에피소드에서 한 장면에만 등장했다. 이건 고질적인 훈련 데이터가 아니다!

중요: 이 Stable Diffusion 1.5 LoRA는 원래의 플럭스 아이코 우메사와 훈련 데이터를 변환한 것으로 학습되었습니다. 요약하자면, 이 SD 1.5 LoRA는 매우 다른 프레임워크를 위해 설계되었기 때문에 약간의 문제가 있습니다. 그럼에도 불구하고 테스트 결과는 대체로 수용할 만한 수준입니다. 하지만 몇 가지 문제가 있습니다. 가장 큰 문제는 GUI 요소가 이미지에 스며들지 않도록 부정적 프롬프트를 꼼꼼히 조정해야 한다는 점입니다. 이에 대한 자세한 정보는 이 설명의 후반부에 나와 있습니다.

이 LoRA를 사용할 때는 약간 예측하기 어려울 수 있습니다. 모델별로 가장 좋은 결과를 얻은 것은 Lustermix 2D와 Ghostmix였습니다. Juggernaut Reborn은 프롬프트에 "photo, RAW photo" 태그를 추가만 해도 아이코를 사실적, 또는 사실에 가까운 스타일로 잘 변환해줍니다. 또한 모든 모델에서 저는 일반적으로 얼굴을 위해 ADetailer를 사용했습니다. 마지막으로 태깅이 쓰레기처럼 엉망이고 중복이 많습니다. 이는 반자동 변환의 대가입니다. 곧 코드를 재작성해 출력 결과를 좀 더 깔끔하게 만들 계획입니다.

고유 특징: 제가 다앙론파 LoRA에서 강조하려는 핵심은 원작에 대한 진정성입니다. 캐릭터의 스타일이나 옷차림을 기본적으로 구현하는 건 비교적 쉽습니다. 하지만 캐릭터화는 훨씬 어렵습니다. 모델들은 공포, 행복, 슬픔, 분노 등의 표정이나 자세에 대해 각자의 고정된 개념을 가지고 있습니다. 그러나 다앙론파 같은 캐릭터는 이러한 모든 감정 상태를 독특하게 표현하기 위해 디자인에 세심한 주의를 기울입니다. 저는 가능한 모든 스프라이트, CG, 공식 이미지를 수집해 캡션을 달고 데이터셋에 포함시키려 노력합니다. 이것이 잘 될지는 또 다른 문제지만, 이것이 제가 목표로 하는 방식이며, 왜 이 LoRA들이 약간 이상하게 보일 수 있는지에 대한 이유입니다. 그리고 SD 1.5 변환판은 더욱 예측 불가능합니다. 그러나 저는 이 방식이 캐릭터에 대한 가치 있는 해석을 제공한다고 생각합니다. 아이코 우메사와의 경우, 제가 정말 기뻤던 점은 그녀가 스트레스를 받을 때 후디의 끈을 꼭 쥐는 모습이 종종 나타난다는 점이었습니다. 이는 훈련 데이터에서 유래한 연관성으로, 제 방법론이 보존하려는 바로 그런 연결입니다. 캐릭터는 그들의 개성을 유지해야 하죠?

다양한 성공률로 재현 가능한 특정 이미지 유형 몇 가지로 학습했습니다. 이는 플럭스에서는 매우 잘 작동하고, SDXL에서는 괜찮으며, SD 1.5에서는 일반적으로 별로입니다. 이미지에 다양한 프롬프트 옵션을 포함시켜 비교·대조하기 쉽게 하려고 했습니다. 하지만 주요 옵션은 다음과 같습니다.

부정적 프롬프트 - 시스템이 게임 텍스트 및 GUI 생성을 하지 않도록 하려면 다음을 부정적 프롬프트에 추가하세요: (((danganronpa S GUI 스타일 대화 상자))), (((이름 버블))), (((대화 버블))), 파란색 대화 버블, 텍스트 박스:danganronpa S GUI 스타일, GUI 스타일, 대화 버블, danganronpa S GUI 스타일, ((사람 없음)), (((텍스트))), (((GUI)))

다앙론파 애니메이션: 다앙론파 애니메이션의 스타일로 이미지를 유도하려면 프롬프트에 'Danganronpa The Animation, screencap from the anime Danganronpa The Animation, anime, dr1anime' 태그를 사용하세요.

다앙론파 3(애니메이션) 스타일: "Danganronpa 3 screencap style, danganronpa 3, anime" 사용

다앙론파 스프라이트: 프롬프트에 'danganronpa sprite style' 태그를 사용해 다앙론파의 아트 스타일을 모방해보세요. 이름과 달리, 이 태그로는 GUI가 있는/없는 전체 스크린샷과 캐릭터 스프라이트 립을 모두 학습했습니다. 이론적으로는 전체 이미지를 '다앙론파화'할 수 있어야 합니다. 하지만 아이코 우메사와는 게임에 등장하지 않아 약간 복잡했습니다. 그래도 최선을 다했습니다.

다앙론파 S GUI: 이 옵션을 시도해보세요. "danganronpa s, danganronpa sprite style, danganronpa S sprite style, danganronpa s gui style dialog box, Danganronpa S GUI status bar, black text, Danganronpa S GUI title bar"

옷: 다음과 같은 프롬프트로 다양한 옷 선택을 시도해볼 수 있습니다.

후드를 올린 기본 복장: "Aiko Umesawa, yellow bunny hoodie, white button up shirt, red ribbon, light brown pleated skirt, black ankle socks, white slippers, blushing, hood up, green left eye, blue right eye"

후드를 내린 기본 복장: "Aiko Umesawa, yellow bunny hoodie, white button up shirt, red ribbon, light brown pleated skirt, black ankle socks, white slippers, blushing, hood down, green left eye, blue right eye"

장소: 특정 장소에 대해 학습하지는 않았지만, 훈련 데이터에 충분히 등장한 장소가 있어, danganronpa 및 danganronpa 2/danganronpa S의 태그와 함께 장소를 명시하면 결과를 개선할 수 있습니다. 특히 'jabberwock island'와 'Hope's Peak' 태그를 사용하세요. 저는 danganronpa-gaming.proboards의 지도에서 사용된 장소 이름을 기반으로 합니다.

눈에 대한 참고사항: 아이코는 이색성 시력(서로 다른 색의 눈)을 가지고 있지만, 생성 시 일관성이 약간 부족할 수 있습니다. 눈이 제대로 나오지 않으면 " (((heterochromia))), (((green left eye))), (((blue right eye))) " 같은 태그를 더 강조해보세요. JujoHotaru의 Heterochromia Helper 같은 추가 LoRA를 사용하는 것도 도움이 될 수 있습니다. 그러나 더 큰 문제는 일부 모델이 이색성 시력에 더 유연한 반면, 다른 모델은 그렇지 않다는 점입니다. Heterochromia Helper를 사용하려면 JujoHotaru의 zip 파일에서 hetechro_BG_v100.safetensors LoRA를 찾아 "lora:hetechro_BG_v100:1, heterochromia with blue and green"로 호출하세요. 이 이색성 LoRA의 단점은 파란색/녹색이 '모든 것'을 파란색이나 녹색으로 밀어붙인다는 점입니다. 따라서 갈색 치마도 녹색 치마로 바뀔 가능성이 큽니다. 일반적으로 모든 것이 이 스타일적 동전 던지기의 영향을 받습니다.

훈련 자료: 아이코에 대한 공식 자료가 별로 없다는 말은 과장이 아닙니다. 그녀는 다앙론파 3의 한 에피소드에서 한 장면에만 등장합니다. 틈을 메울 만한 팬 자료도 많지 않습니다. 저는 그녀가 등장한 거의 모든 고유 프레임을 스크린샷으로 캡처했습니다. 그 후 madara120가 만든 스프라이트로 크게 보완했고, 이에 더해 제 다른 다앙론파 LoRA에서 자료를 선택해 스타일과 장소 정보를 보탰습니다.

마무리 생각: 저는 원래 플럭스 LoRA를 실험의 일환으로 만들었습니다. 제한된 데이터, 특히 시각적으로 독특하지만 샘플 수가 매우 적은 캐릭터에 대해 이 과정이 얼마나 잘 작동할 수 있을까? SD 1.5 측면에서 제가 배운 핵심은 훈련 데이터 내에서 자료를 재배치해 보상해야 한다는 점입니다. 특히 이 작업을 다시 한다면, 텍스트가 포함된 훈련 데이터는 대부분 제거할 것입니다. 스프라이트 스타일의 가능성을 얻는 것보다 1.5가 데이터에 너무 자주 등장하므로 항상 그것을 원한다고 판단하는 경향이 더 크기 때문입니다. 그래서 GUI 요소를 방지하기 위해 부정적 프롬프트가 필요합니다. 제가 만든 대부분의 LoRA와 마찬가지로, 저는 이러한 문제점을 기록해 차후 업데이트 LoRA를 만들 계획입니다. 하지만 수정을 하기 전에 아직 수많은 캐릭터들이 기다리고 있습니다!