CrystaliTIXL
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
업데이트: 2024년 3월 3일
완전히 처음부터 재구성했습니다.
트리거: cs-cr1stal-v2
이 임베딩은 생성된 이미지에 화려한 유리/결정 효과를 추가합니다. 일반적으로 프롬프트의 시작 부분이나 그 근처에서 트리거를 사용해야 합니다.
짧은 프롬프트의 경우 일반적으로 유리 조각상 결과를 얻게 됩니다.
긴 프롬프트의 경우, 이 임베딩은 주요 대상에 영향을 주고 일부 부가적인 객체에도 영향을 줄 수 있습니다. 가끔씩 다면체 보석들이 곳곳에 추가될 수 있습니다.
가끔 주요 대상이 사라지는 현상이 발생하는데, 왜 그런지 알 수 없지만, 다른 TI와 LoRA에서도 동일한 현상이 발생하는 것을 관찰했습니다. 아마도 SDXL의 재미 있는 부분 중 하나일 겁니다 :-)
이 임베딩을 사용할 때는 빨강, 보라, 파랑 등의 일반적인 색상명보다 루비, 아메지스트, 사파이어 등의 구체적인 보석 이름을 사용하는 것이 일반적으로 더 나은 결과를 줍니다.
가끔 이 임베딩이 깃털을 추가하기도 합니다. 왜 그런지 전혀 모르겠습니다.
가중치 0.8 <---> 1.2는 잘 작동했지만, a1111에서는 가중치 조정이 별로 필요하지 않았습니다. ComfyUI를 사용 중이라면 가중치를 높게 설정해야 할 수 있습니다. 왜 그런지 모르지만, 여러 ComfyUI 사용자가 일반적으로 임베딩의 가중치를 높여야 한다고 말했습니다.
일반적으로 저는 다음과 같은 설정을 사용했습니다:
Euler A 또는 DPM++ 2M Karras
가로 x 세로: 1024x1024 또는 약 1메가픽셀에 해당하는 값
30 <---> 50 단계
cfg 7 <---> 10
Hires.fix:
잠재 변수(nearest-exact) 스케일링 1.25 ~ 1.75, 단계=30, denoise=0.7
아주 훌륭한 이미지를 생성할 수 있지만, 높은 denoise는 변형 또는 중복을 유발할 위험이 있습니다.
또는
4X-UltraSharp 스케일링 1.25 ~ 1.75, 단계=30, denoise=0.4
denoise 값이 충분히 높아서 추가 세부 정보를 더해 주면서도 너무 많은 변형이나 중복을 유발하지 않습니다.
모델:
주로 Crystal Clear XL 모델에서 테스트했습니다:
/model/122822?modelVersionId=133832
Juggernaut 9, Artium 2, Pixelwave 8, Polyhedron 3, ZavyChroma에서도 좋은 결과를 얻었습니다.
이 임베딩은 제가 시도한 모든 LoRA 및 임베딩과 잘 결합되었습니다. 이 임베딩과 함께 여러 LoRA를 하나의 프롬프트에 사용해도 잘 작동했습니다.
[PUBLISHEDTOCIVITAIONLY]
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
업데이트: 2023년 9월 10일
이 임베딩은 SDXL로 생성된 이미지에 결정 및/또는 보석 효과를 추가합니다. 단계 수가 적기 때문에 효과가 미세하지는 않지만, SDXL 임베딩의 잠재력이 아직 충분히 활용되지 않았음을 보여주고자 합니다.
다운로드 가능한 “kcrstal17xl-step00002000.safetensors”는 2000단계, 배치=1로, kohya_ss를 사용하여 50장의 1024x1024 이미지로 학습되었습니다. 만약 느린 학습 시간을 견딜 수 있다면, 향후 더 정제된 임베딩으로 이 페이지를 업데이트하겠습니다.
쇼케이스 이미지는 automatic1111 웹 UI의 출력을 쌍으로 보여줍니다:
임베딩 사용 시, 임베딩 사용 안 시
쇼케이스 이미지는 Crystal Clear XL 모델을 사용했습니다:
/model/122822?modelVersionId=133832
프롬프팅은 다소 귀찮았습니다. 아마도 Stable Diffusion v1.5에서 SDXL로의 변화에 익숙하지 않기 때문인 것 같네요. 쇼케이스 이미지의 프롬프트는 대체로 다음과 같은 형태입니다:
kcrstal17xl analog realistic __art styles 1__ colour photo of a __crystal_test_1__, very detailed, award-winning
와일드카드 __art styles 1__는 “인상파” 같은 예술 스타일 목록입니다.
와일드카드 __crystal_test_1__는 “데크 의자 위의 개구리” 같은 짧은 문구 목록입니다.
임베딩의 가중치를 올리거나 내릴 수 있습니다. 일반적으로 0.6에서 1.2 사이의 값을 사용합니다. 이상하게도, 가중치 0.1도 명확한 효과를 보여줍니다.
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
2023년 9월 3일
이것은 다듬어진 임베딩이 아니라 개념 증명입니다. 일반 리소스 페이지보다는 기사로 게시하는 것이 더 적절할지도 모릅니다.
다운로드 가능한 “kcrstal17xl-step00001200.safetensors”는 단지 1200단계, 배치=1로, 50장의 1024x1024 이미지로 학습되었습니다. 만약 느린 학습 시간을 견딜 수 있다면, 향후 더 정제된 임베딩으로 이 페이지를 업데이트하겠습니다.
이 임베딩은 SDXL로 생성된 이미지에 결정 및/또는 보석 효과를 추가합니다. 단계 수가 적기 때문에 효과가 미세하지는 않지만, SDXL 임베딩의 잠재력이 아직 충분히 활용되지 않았음을 보여주고자 합니다.
쇼케이스는 ComfyUI 출력 쌍으로 구성됩니다:
임베딩 사용 시, 임베딩 사용 안 시
그리고 a1111 v1.6.0이 생성한 복잡한 출력 두 쌍:
저장된 이미지, “Approx NN” 미리보기 스크린샷
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
수다스러운 설명...
SDXL의 출력 결과에 매우 인상 깊었고, SD v1.5 임베딩을 SDXL용으로 변환/재현하고 싶었습니다.
automatic1111 웹 UI의 Train 탭을 사용하여 CrystaliTI를 만들었습니다:
최근 a1111 v1.6.0이 SDXL 학습을 지원할 것이라 기대했지만, 아닙니다. 다음 링크에 따르면 앞으로도 그런 기능이 추가될 가능성은 거의 없어 보입니다:
https://github.com/AUTOMATIC1111/stable-diffusion-webui/discussions/11857#discussioncomment-6480804
분명한 해결책은 kohya_ss였습니다:
https://github.com/bmaltais/kohya_ss
처음 사용해보는 도구라 구성 옵션의 방대한 양에 놀랐습니다. 먼저 kohya_ss로 CrystaliTI를 재현해보았지만, 시작이 좋지 않았습니다. 하지만 다음 튜토리얼 덕분에 결국 성공했습니다:
위 튜토리얼을 작성해준 @Desi_Cafe에게 감사드립니다.
kohya_ss의 TI는 원래 CrystaliTI와 완전히 같지는 않지만, 충분히 유사해서 저는 만족합니다.
다음 단계는 kohya_ss 설정을 SDXL로 전환하고, 50개의 학습 이미지의 1024x1024 버전을 포인트로 지정하는 것이었습니다. 21시간 후, kohya_ss는 2000단계 중 1240단계까지 진행했습니다(배치=1).
평균 1분 이상이 걸립니다. :-(
비교하자면, CrystaliTI를 재현할 때는 약 0.5초/단계였습니다.
4~16배 정도 느려질 것으로 예상했지만, 100배 이상 느려졌네요 :-(
사용 중인 PC 사양:
Nvidia 3060/12GB(Ti 버전 아님), Ryzen 7-2700(8코어/16스레드), 64GB 시스템 RAM, 여러 SSD, Win10pro
kohya_ss가 SDXL 임베딩을 학습하는 동안 3060의 12GB 전체와 “공유 GPU 메모리” 7GB까지 사용합니다. 공유 RAM(즉, 시스템 RAM)을 사용하는 것이 너무 느린 이유일까요?
kohya_ss에서 더 나은 설정이 있을까요? 빠르게 검색해보니 정보가 모순적이거나 불완전했습니다. 현재 kohya_ss에서 VRAM 사용량을 줄이기 위해 어떤 옵션을 사용할 수 있는지 알려주시면 감사하겠습니다.
kohya_ss는 50단계마다 임베딩을 저장하도록 설정되어 있어, 이를 제 백업 머신(2060/6GB, i7-10750H(6코어/12스레드), 16GB 시스템 RAM, 여러 SSD, Win10pro)으로 복사해 사용할 수 있었습니다. --lowvram 옵션을 사용하면 a1111 웹 UI(v1.6.0)로 SDXL 이미지를 생성할 수 있으며, 일반적으로 1장당 약 2분이 걸립니다.
SDXL 임베딩을 ComfyUI(현재 포터블 버전, 커스텀 노드 없음)에서 시도해보았습니다.
그리고 여기까지 왔습니다. SDXL 임베딩 생성은 가능하지만 매우 느립니다. 제 예산으로는 곧바로 4090을 구매할 수 없으므로, 3060/12GB에서 생성 속도를 높일 방법을 찾지 못한다면 많은 임베딩을 만들기 어려울 것 같습니다.
이 글을 끝까지 읽어주신 kohya_ss 전문가 분들께 감사드립니다. 생성 속도를 높일 수 있는 방법을 제안해주시면 감사하겠습니다. (저는 설정 파일을 다운로드에 첨부해두었습니다.)