XL Mechaturn Helper XL Remix

*모든 좋아요, 댓글, 게시물이 저를 더 멀리 나아가게 도와줍니다!!

더 많은 프로젝트 파일/세부 정보/워크플로우는 제 Patreon에서 확인하실 수 있습니다: Chamber | 게임, 아트 제작 | Patreon, 여기서도 추가적인 일반적인 지원 부탁드립니다~
구독은 제가 더 업데이트하고 더 많은 콘텐츠를 제작하는 데 도움이 됩니다~

리믹스 버전은 안정적 확산(STABLE DIFFUSION) 출력 이미지를 사용하여 학습했으며,
일반 버전은 3D 모델 렌더링 이미지를 사용합니다.
나중에 병합 버전도 시도해볼 예정입니다.
제가 생각하기에 이 버전은 일반 버전의 업데이트 버전이 아니므로, 여기에 새로운 게시물을 작성했습니다.

!!! 바디 회전 도우미로 생성된 이미지를 Canny 입력으로 약 0.2 가중치로 사용하면 품질이 크게 향상되고, SDXL의 프롬프트에 대한 더 나은 이해를 통해 큰 혜택을 얻을 수 있습니다!!! (대부분의 색인 이미지처럼, 프롬프트와 결과를 비교해보세요. 멋지네요! 나중에 이 결과들을 LoRA에 병합하여 단순화해볼 계획입니다~)

계획, 향후, 곧 출시 예정...

- [ ] 3D 모델 렌더링 테스트에서 더 많은 데이터 추가(약 100장, 향상이 있을 경우 게시)
- [ ] 더 많은 스텝 테스트(약 5000스텝, 향상이 있을 경우 게시)

- [ ] 더 나은 태그 및 프롬프트 테스트(와일드카드 포함, 향상이 있을 경우 게시)
- [ ] charturn(다른 사람들의 턴테이블 포함) SDXL/SD1.5용 ti
- [ ] charturn(다른 사람들의 턴테이블 포함) SD1.5 및 SDXL용 remix 버전,
약 60개의 선택된 생성 이미지를 기반으로 출력물을 더 아름답게 만들려고 시도(향상이 있을 경우 게시),
현재 버전은 20-50개의 3D 모델 렌더 이미지를 기반으로 다중 시점 교정을 목표로 합니다
- [ ] charturn 나이/신체 형태/신장/복장 윤곽/얼굴 제어 테스트(향상이 있을 경우 게시)
- [ ] 제 LoRA/모델은 공개적으로 게시하고, 제 학습/생성 도구/워크플로우는 Patreon에서만 게시합니다

손/손바닥/손가락, 머리카락/헬멧/마스크, 의상 등 제어 가능한 요소/스타일, 수량, 일관성을 개선하기 위해 XL CKPT/LoRA 계획을 시도했습니다.
이러한 시도로 일부 개선이 있었고, 위 샘플들에서 느낄 수 있습니다.
제가 느낀 가장 큰 개선점은 프롬프트에 대한 더 나은 이해입니다. 예를 들어 특정 옷이나 캐릭터에 대해, 프롬프트 세부 사항으로 출력을 더 잘 제어할 수 있게 되었습니다.

그러나 학습 및 테스트 후, 저는 SDXL이 현재(2024년 3월 22일) 일부 단점을 가지고 있다고 생각합니다:

가장 큰 문제는, SD 1.5처럼 뛰어난 결과를 얻기 위한 훌륭한 XL 체크포인트 및 XL LoRA가 충분하지 않다는 것입니다.
스타일 오프셋 같은 디자인 도구와 베이스/미화 모델로서의 아름다움 수준 모두에서요.
Open Pose 컨트롤러 XL은 SD 1.5 버전만큼 좋지 않습니다.
학습 및 생성 속도가 느리고 어렵습니다.
(1536*1024 이미지를 1920*1024로 업스케일한 후, 4개의 얼굴에 ADetailer를 적용하면 4-5분 소요됩니다. 손 개선 기능을 사용하면 더 나은 결과를 도출할 수 있지만, ADetailer에 10개 이상의 손바닥을 추가하기엔 너무 느립니다.)
반면, 라이트 버전은 빠르지만 현재 결과가 저에게 충분히 좋지 않습니다.

저는 XL 체크포인트에 익숙하지 않으며, 현재 학습 비용이 너무 비싸다고 느껴집니다. 따라서 다른 훌륭한 창작자들을 지원하고 더 나은 결과를 기다리는 것이 좋을 것 같습니다.
추가적인 LoRA XL 도구에 대해서는 나중에 연구하고 시도해볼 예정입니다~

좋은 소식! RTX 4080 랩탑 12GB VRAM은 일부 설정 및 kohya_ss 업데이트 후 XL LoRA 학습에 충분합니다!

!!! 유사한 결과를 원하신다면,
위의 원본 이미지 예시에서 대부분의 생성/샘플 설정을 반복해 주세요.
ControlNet(OpenPose)뿐만 아니라 다른 사람들의 LoRA도 포함하세요.
다른 추가 LoRA/TI는 각각 고유한 효과를 가지므로, 타겟에 맞는 설정을 테스트하기 위해 추가하거나 삭제해 보세요~

여기는 제 새로운 워크플로우, AI 기반 디자인 및 텍스처(카메라 기반 투영) 도구를 위해 학습한 LoRA 중 하나입니다.

SD XL용:

Clothturn Helper XL Remix - v1.0 | Stable Diffusion LoRA | Civitai

Bodyturn Helper XL - v1.0 | Stable Diffusion LoRA | Civitai

Clothturn Helper XL - v1.0 | Stable Diffusion LoRA | Civitai

Charturn Helper Merged XL - v1.0 | Stable Diffusion LoRA | Civitai

SD 1.5용:

이 LoRA들은 향후 제 Blender의 캐릭터 라이브러리와 최적의 성능을 발휘합니다.
3D 모델 메시 쉐이프 편집 가이드, 자동 텍스처링/셰이딩, 웨이트 페인팅 등이 포함됩니다.
주로 제가 개발하는 게임용 자산 생성을 위해 디자인되었으며, 저와 같은 독립 개발자들에게도 도움이 될 수 있습니다.

개인적으로 추천 체크포인트(현재 SDXL용으로 테스트 후 유일하게 적합한 하나):
AbyssOrange XL Else - v1.0 | Stable Diffusion Checkpoint | Civitai

또한 학습 데이터도 여기에 있습니다. 이 중 약 30%는 제가 이전에 작성하고 게시한 작품에서 렌더링한 것이며 3D 모델 by ChamberSu1996 - Sketchfab,
나머지는 인터넷에서 구매 및 수집한 것입니다: TrainDataPack.zip
이 초기 및 테스트 버전의 모든 LoRA는 약 20~50장의 이미지로 구성된 비교적 작은 데이터셋을 기반으로 학습되었습니다. 그러나 여전히 큰 도움이 됩니다.

제가 만든 모든 LoRA에 대한 kohya_ss 학습 설정은 데이터, 이미지 크기, epoch만 다르고 나머지는 동일합니다(XL 옵션 활성화): ToonHairTurn_v1.json
(저는 현재 학습에 익숙하지 않기 때문에, 이번에는 모든 단계/기능을 작동하게 만들고 설정을 가능한 한 단순하고 기본값으로 유지하려고 했습니다.
향후 적절한 데이터, 태그 및 학습 설정에 대해 더 배우고,
자신의 작품 렌더링 이미지만을 사용해 더 나은 LoRA를 학습하여 오픈 사용을 보장하고 제 스타일/취향을 따르겠습니다.)

Civitai에서 동적 프롬프트 및 와일드카드를 추가하여 무한한 다양한 결과를 얻을 수 있으며,
Gemini 및 Chat GPT를 사용하여 프롬프트 와일드카드를 생성해 테스트하는 것도 잘 작동합니다~

질문이나 여기에 흥미로운 내용이 있다면, 댓글을 남기거나 [email protected]로 연락주세요

또한 Discord 채널도 있습니다~
https://discord.gg/SFJFcctfgD

매 좋아요, 댓글, 게시물, Patreon Chamber | 게임, 아트 제작 | Patreon 구독은 더 업데이트하고, 더 많은 콘텐츠를 제작하고 게시하는 데 필요한 예산을 마련하는 데 도움이 됩니다~

모델 유형	LORA
기본 모델	SDXL 1.0
게시일	3/30/2024

XL Mechaturn Helper XL Remix

세부 정보

파일 다운로드

이 버전에 대해

모델 설명

이 모델로 만든 이미지