XL Clothturn Helper XL

!!! clothturn helper 1.5로 생성된 이미지를 Canny 입력으로 약 0.3 가중치로 사용하면 품질이 크게 향상되고 SDXL의 프롬프트에 대한 더 나은 이해를 충분히 활용할 수 있습니다!!!(대부분의 샘플 이미지처럼 프롬프트와 결과를 비교해 보세요. 멋지네요! 나중에 이러한 결과를 병합하여 LoRA로 트레이닝해 간소화할 예정입니다~)

*모든 좋아요, 댓글, 포스트는 제 작업을 더 발전시키는 데 도움이 됩니다!!

프로젝트 파일(.blend)은 제 Patreon에서 확인할 수 있습니다: Chamber | creating Game, Art | Patreon. 구독은 더 많은 업데이트와 콘텐츠 제작에 도움이 됩니다~

계획, 향후 계획, 곧 제공 예정...

- [ ] 3D 모델 렌더링 테스트에서 더 많은 데이터 추가(약 100개, 개선 사항 생기면 게시 예정)
- [ ] 더 많은 스텝 테스트(약 5000개, 개선 사항 생기면 게시 예정)

- [ ] 더 나은 태그 및 프롬프트 테스트(와일드카드 포함, 개선 사항 생기면 게시 예정)
- [ ] charturn(다른 사람의 회전 테이블 포함) SDXL/SD1.5용
- [ ] charturn(다른 사람의 회전 테이블 포함) SD1.5 및 SDXL용 리믹스 버전,
약 60개의 선정된 생성 이미지를 기반으로 출력물을 더 아름답게 만들려고 시도(개선 사항 생기면 게시 예정),
현재 버전은 20~50개의 3D 모델 렌더 이미지를 기반으로 다중 시점 보정 목표로 제작됨
- [ ] charturn 나이/신체 형태/키/복장 실루엣/얼굴 제어 테스트(개선 사항 생기면 게시 예정)
- [ ] 제 LoRA/모델은 공개적으로 게시될 것이며, 제 트레이닝/생성 도구/워크플로우는 Patreon에서만 게시됩니다

XL CKPT/LoRA를 사용하여 손/손바닥/지문, 머리카락/헬멧/마스크, 의상의 제어 가능성, 수량 및 일관성을 향상시키기 위한 계획을 시도했습니다.
컨트롤 가능한 요소/스타일, 수량, 일관성 면에서 일정한 개선이 있었습니다. 위 샘플들을 통해 느낄 수 있습니다.
제가 느낀 주된 개선점은 프롬프트에 대한 더 나은 이해입니다. 예를 들어 특정 옷과 캐릭터의 경우, 프롬프트의 세부 사항을 통해 출력을 더 잘 제어할 수 있게 되었습니다.

하지만 트레이닝 및 테스트 후, 저는 SDXL이 현재 단계(2024년 3월 22일 기준)에서 몇 가지 단점을 가지고 있다고 생각합니다:

• 가장 큰 문제는, SD 1.5만큼 훌륭한 결과를 만들어내기 위한 훌륭한 XL 체크포인트와 XL LoRA가 충분하지 않습니다.
  스타일 오프셋 같은 디자인 도구뿐 아니라, 기본/미려화 모델로서의 아름다움 수준도 부족합니다.

• Open Pose 컨트롤러 XL 버전은 SD 1.5 버전만큼 좋지 않습니다.

• 트레이닝/생성 속도가 느리고 어렵습니다.
  (1536*1024 이미지를 1920*1024로 업스케일한 후, 4개의 얼굴에 ADetailer를 적용하면 4-5분이 걸립니다. 손 개선 기능을 적용하면 더 나은 결과가 나올 수 있지만, ADetailer에 10개 이상의 손바닥을 추가하기엔 너무 느립니다.)
  반면, 가벼운 버전은 더 빠르지만, 현재 결과는 저에게 충분히 좋지 않습니다.

저는 XL CKPT에 익숙하지 않으며, 현재 트레이닝 비용이 너무 높다고 느껴집니다. 따라서 다른 훌륭한 크리에이터들을 응원하고 더 나은 결과가 나올 때까지 기다리겠습니다.
XL LoRA 도구를 더 개발하기 위해 이후에 연구하고 시도해 보겠습니다~

좋은 소식! RTX 4080 랩톱(12GB VRAM)은 일부 설정 및 kohya_ss 업데이트 후 XL LoRA 트레이닝에 충분합니다!

!!! 비슷한 결과를 원하신다면,
위의 원본 이미지 예시에서 대부분의 생성/샘플 설정을 반복해 주세요.
ControlNet(OpenPose)뿐만 아니라 다른 사람의 LoRA도 포함해야 합니다.
다른 추가 LoRA/TI는 각기 다른 효과를 내므로, 목표에 맞는지 테스트하기 위해 추가하거나 삭제해 보세요~

여기에는 제 새로운 워크플로우, AI 기반 디자인 및 텍스처(카메라 기반 투영) 도구용으로 트레이닝한 LoRA 중 하나가 있습니다.

SD XL용:

Clothturn Helper XL - v1.0 | Stable Diffusion LoRA | Civitai

Charturn Helper Merged XL - v1.0 | Stable Diffusion LoRA | Civitai

SD 1.5용:

-Charturn Helper Merged - v4.0 | Stable Diffusion LoRA | Civitai
- Bodyturn Helper - v3.0 | Stable Diffusion LoRA | Civitai
- Faceturn Helper - v2.0 | Stable Diffusion LoRA | Civitai
- Hairturn Helper - v1.0 | Stable Diffusion LoRA | Civitai
- Clothturn Helper - v1.0 | Stable Diffusion LoRA | Civitai
- Mechturn / Armorturn Helper - v1.0 | Stable Diffusion LoRA | Civitai
- Sword Gen - v1.0 | Stable Diffusion LoRA | Civitai

이 LoRA들은 향후 제 Blender 캐릭터 라이브러리와 가장 잘 작동합니다.
3D 모델 메시 수정 가이드, 자동 텍스처링/쉐이딩, 웨이트 페인팅 등을 포함합니다...~
대부분 제 게임 개발을 위한 자산 생성을 위해 설계되었으며, 저처럼 독립 개발자들에게도 도움이 될 수 있습니다.

개인적으로 권장 체크포인트(현재 테스트 결과 SDXL에 적합한 단 하나):
AbyssOrange XL Else - v1.0 | Stable Diffusion Checkpoint | Civitai

또한 트레이닝 데이터는 여기에 있습니다. 그 중 약 30%는 제가 이전에 생성하고 게시한 아트워크에서 렌더링한 것이며, 3D models by ChamberSu1996 - Sketchfab
나머지는 인터넷에서 구매하거나 수집한 것입니다: TrainDataPack.zip
이 초기 및 테스트 버전의 모든 LoRA는 20~50장의 사진으로 구성된 비교적 작은 데이터셋에서 트레이닝되었습니다. 그러나 현재도 매우 도움이 됩니다.

제가 만든 모든 LoRA에 사용한 kohya_ss 트레이닝 설정은 데이터, 이미지 크기, 에포크만 다르고 나머지는 동일합니다(XL 옵션 활성화): ToonHairTurn_v1.json
(저는 현재 트레이닝에 익숙하지 않아, 이번에는 각 단계/기능이 작동하도록 단순/기본 설정을 유지하고자 했습니다.
나중에 더 합리적인 데이터, 태그 및 트레이닝 설정을 연구할 예정이며,
자신의 아트워크 렌더 이미지만 사용하여 트레이닝을 재개하여 오픈 사용 가능성을 보장하고 제 스타일/취향을 따르겠습니다.)

Civitai에서 동적 프롬프트 및 와일드카드를 추가하여 무한한 다양한 결과를 얻을 수 있습니다.
Gemini 및 Chat GPT를 사용하여 프롬프트 와일드카드를 생성해 테스트해도 잘 작동합니다~

질문이나 이 내용에 흥미가 있으시면, 댓글을 남기거나 [email protected]로 연락주세요.

또한 Discord 채널도 있습니다~
https://discord.gg/SFJFcctfgD

모든 좋아요, 댓글, 포스트, Patreon Chamber | creating Game, Art | Patreon 구독은 추가 업데이트, 더 많은 콘텐츠 제작 및 게시를 위한 예산 확보에 도움이 됩니다~