BerryBrite (Pony)

BERRYBRITE PD

이것은 제가 SDXL 모델을 Pony v6로 변환한 두 번째 시도이며, 분명히 많은 어려움을 겪었습니다. 아래에 그 내용을 설명드리겠습니다.

먼저, 정보부터 전달드리겠습니다.

V2 업데이트

드디어 이 작업을 마쳤습니다. 버전 1보다 훨씬 원본 스타일에 가까워졌습니다(버전 1에 대한 정보는 아래에 있습니다).

V2는 원본 스타일을 훨씬 더 정확하게 반영하지만, 여전히 몇 가지 문제점이 있으며, 사소한 변경 사항도 하나 있습니다.

rbrite(Rainbow Brite 스타일용)와 tkid(2D 애니메이션 스타일용)는 그대로 유지되었고, 이들에 대한 트레이닝도 잘 작동했습니다. 그러나 이전의 sberry 트리거(Strawberry Shortcake 스타일용)는 태그 간 간섭이 발생해 완전히 변경해야 했습니다. 따라서 이 스타일을 위한 새로운 sbsc 태그를 도입했고, 이는 잘 작동했습니다.

전반적으로 이 버전은 훨씬 더 나은 결과를 냈습니다. 그러나 “Strawberry Shortcake” 캐릭터 이름을 사용하면 특히 sbsc 스타일 태그와 함께 사용할 때 약간 과도하게 ‘베이크된’ 느낌이 드는 경향이 있습니다. 이 현상은 “Rainbow Brite” 캐릭터 이름에도 나타나지만 덜 두드러집니다. 그 외에도, 인간/인간형 캐릭터를 생성하려면 명시적으로 프롬프트에 지정해야 합니다(특히 sbsc 태그를 사용할 경우, 이 태그는 이유를 알 수 없지만 때때로 앤트로(anthro) 캐릭터만 출력하기 때문입니다).

아래는 예시 시트입니다.

P.S. 이 예시들의 배경 및 색상 매칭은 데이터셋 내 특정 이미지 컬렉션에서 비롯된 것입니다. 프롬프트에 “digital art”와 “colorful background”를 추가하면 유사한 효과를 얻을 수 있으며, 색상은 프롬프트 내 특정 색상에 기반해야 합니다. 그러나 이 부분에 대해 충분한 테스트를 하지 않았기 때문에 그 한계는 잘 모르겠습니다.

아래 정보는 모두 v1에 해당합니다.

BerryBrite는 고전적인 Rainbow Brite와 Strawberry Shortcake 시리즈의 캐릭터 디자인 스타일(구체적인 캐릭터가 아닌)을 포착하려고 만든 LoRA이며, 다양성을 위해 2D 픽사 스타일이 추가되었습니다. 따라서 이 LoRA는 세 가지 스타일을 하나로 통합한 것입니다.

이 LoRA는 사실 두 번의 트레이닝 시도를 병합한 결과입니다. 두 번째 시도에서는 원본 태그 중 두 개가 기본 Pony 모델의 다른 스타일에 영향을 받아서 태그를 변경했습니다. 아래 예시를 통해 더 자세히 설명드리겠습니다.

그러나 이 버전은 특정 스타일, 특히 Strawberry Shortcake 스타일에서 일부 문제를 겪었습니다. 그럼에도 불구하고 전반적으로 흥미로운 결과를 도출했기 때문에 공유하고자 합니다.

기존 모델에서는 각각 Rainbow Brite, Strawberry Shortcake, 2D 픽사 스타일을 위한 세 가지 태그를 사용했습니다: RBrite, SBerry, TKid. 그러나 SBerry의 “Berry”와 TKid의 “Kid”는 충분히 고유하지 않아 다른 스타일의 영향을 받았습니다. RBrite의 “Brite”는 Rainbow Brite 캐릭터에 상대적으로 독특하지만, 모든 태그를 rbrt, sbry, tkd로 변경했습니다.

그러나 보시다시피, 이 변경으로 인해 새로운 문제가 발생했습니다. 원래 태그 “TKid”는 원본 스타일과 다른 기본 Pony 스타일을 혼합했지만, 새로운 태그 “tkd”는 원본 스타일에 더 가까웠습니다.

“RBrite” 태그는 원본 스타일에 더 가까웠지만, 프롬프트가 인간/인간형 캐릭터를 명시하지 않으면 앤트로 캐릭터가 더 많이 생성됩니다. 새 태그 “rbrt”는 기본 Pony 모델 내 앤트로/폰니 아티스트와 연결되어 있어, 다른 것을 명시적으로 프롬프트하지 않으면 폰니 아트가 더 많이 생성됩니다(위 예시에서는 제가 사용한 캐릭터 태그가 인간형에 치우쳐 있었기 때문에 이 현상이 덜 드러났습니다).

“SBerry” 및 “sbry” 태그의 경우, 원래의 Strawberry Shortcake 스타일은 거의 완전히 사라졌습니다. 또한 “SBerry” 태그는 임의의 베리가 삽입되는 경향이 있습니다. 두 태그 모두 기본 Pony 모델 내 앤트로/판타지 생물 아티스트의 영향을 받는 것으로 보이지만, 그래도 그 자체로는 좋은 스타일입니다.

또한 “Rainbow Brite” 및 “Strawberry Shortcake” 캐릭터 태그를 사용하면 흥미로운 결과를 얻을 수 있지만, 원래 캐릭터와 정확히 일치하지는 않는다는 점을 기억하세요.

Strawberry Shortcake 캐릭터 태그와 SBerry 또는 sbry 스타일 태그를 사용하더라도 원본 스타일과는 여전히 거리가 멉니다. 그러나 결코 나쁘지는 않습니다.

향후 트레이닝에서는 이 태그를 완전히 변경하여 Strawberry Shortcake 스타일을 다시 회복해보려 합니다. 그러나 현재로서는 이 수준이 최선입니다.

“Rainbow Brite” 캐릭터 태그는 아마도 Rainbow Dash 폰니 캐릭터의 영향을 받는 것으로 보입니다. 몇몇 이미지에 그녀의 커티 마크를 추가하려는 흔적도 보입니다.

또한 재미삼아 폰니 캐릭터 태그도 추가했습니다. 어차피 이건 폰니 모델이니까요.

이 모델을 더 잘 트레이닝해 원하는 스타일을 더 정확히 재현할 수 있다면 업데이트하겠습니다. 그 전까지는 즐겁게 사용해 주세요.

제가 만든 모든 모델은 다른 트레이닝 및 병합에 사용할 수 있습니다.