TTPLanet_SDXL_Controlnet_Tile_Realistic
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
관심 가져주셔서 감사합니다.
원하시면 연락주세요: discord "ttplanet", Civitai "ttplanet"
QQ 그룹 번호: 294060503 에서 그룹 토론에 참여하실 수도 있습니다.
rank256 버전 업데이트: 이 버전은 VRAM을 절약하지만 품질이 감소합니다!!!
어떤 버전을 사용할지 결정하려면 아래 이미지를 참고하세요:
Farai 로고: V2>V1>rank256
탄소 섬유 재질: V2=V1>rank256
comfyui용 Preprocessor 업데이트
여기서 찾을 수 있습니다:/model/426501/60sec-process-for-4k-resolution-t2i-with-rtx4090-and-tile-model
워크플로 패키지 내
최신 업데이트 2024/4/13:
Tile V2 업데이트 노트의 개선된 버전입니다:
- 새로운 Tile V2를 도입했으며, 훨씬 개선된 학습 데이터셋과 더 광범위한 학습 단계를 포함합니다.
- Tile V2는 이제 명시적인 프롬프트 없이도 더 넓은 범위의 객체를 자동으로 인식합니다.
- 강력한 텍스트 재구성 기능을 제공하여 스타일 전이 과정 중 가장 선명한 텍스트를 유지합니다.
- 색상 편차 문제를 크게 개선했습니다. 여전히 심각한 편차가 보인다면, 이는 정상이며 프롬프트를 추가하거나 색상 보정 노드를 사용하세요.
- 컨트롤 강도가 더욱 강화되어 일부 조건에서 canny+openpose를 대체할 수 있습니다.
t2i 또는 i2i에서 에지 하이라이트 문제를 겪는 경우, 특히 i2i에서는 전처리 단계에서 ControlNet 이미지에 충분한 블러를 적용했는지 확인하세요. 출력이 너무 선명하면 에지 주변에 고대비의 뚜렷한 형태(하이라이트)가 생길 수 있습니다. 이 경우 ControlNet에 전달하기 전에 약간의 블러를 적용하세요. 출력이 너무 흐릿하다면, 전처리 단계에서 과도한 블러가 적용되었거나 원본 이미지가 너무 작을 수 있습니다.
Tile V2의 개선된 기능을 즐기세요!
이 모델은 HuggingFace Diffusers 세트로 학습된 SDXL 기반 ControlNet Tile 모델로, Stable Diffusion SDXL ControlNet에 적합합니다.
이 모델은 원래 제 개인적인 리얼리스틱 모델을 위해 학습되었으며, 최종 업스케일 프로세스에서 이미지 디테일을 향상시키는 데 사용됩니다. 적절한 워크플로우를 사용하면 고해상도, 고디테일 이미지 수정에 우수한 결과를 제공합니다.
대부분의 오픈소스에서 SDXL Tile 모델이 제공되지 않기 때문에, 이 모델을 공유하기로 결정했습니다.
스타일 변경 적용 방법 및 간단한 업스케일 워크플로우 업데이트:
comfyui용 스타일 변경 워크플로우 업데이트:
https://openart.ai/workflows/gJQkI6ttORrWCPAiTaVO
스타일 및 배경 변경 적용을 위한 Part 1:
A1111 웹 UI를 열어주세요.
ControlNet Tile에 사용할 이미지를 선택하세요.
설정은 다음과 같아야 합니다: 프리프로세서를 100% "없음"으로 설정하고, 컨트롤 모드는 "내 프롬프트가 더 중요합니다"로 설정하세요.
:긍정 및 부정 텍스트 박스에 프롬프트를 입력하고 원하는 대로 이미지를 생성하세요. 옷을 변경하려면 "노란 티셔츠를 입은 여자"와 같이 입력하고, 배경을 쇼핑몰로 변경하세요.
Hires fix가 지원됩니다!!!
아래와 같은 결과를 얻을 수 있습니다:
최종 SD 업스케일 적용을 위한 Part 2:
이곳은 최종 업스케일 전용으로 단순화된 워크플로우입니다. 실제 상황에 따라 이미지 전처리를 수정하거나 추가할 수 있습니다. 제 경우, 일반적으로 600400과 같은 저화질 이미지를 1200800으로 이미지-이미지 전환할 때 0.1의 노이즈율로 전처리한 후, 이 최종 업스케일 프로세스에 입력합니다.
얼굴을 동일하게 유지하려면 IPA 프로세스를 추가하세요. 또한 저화질 이미지의 i2i 전처리 단계에도 IPA를 추가하세요. 기억하세요: 해상도를 과도하게 올리는 것이 저해상도 이미지의 품질을 향상시키는 가장 좋은 방법입니다.
/model/333060/simplified-workflow-for-ultimate-sd-upscale
이 모델은 HuggingFace Diffusers 세트로 학습된 SDXL 기반 ControlNet Tile 모델로, Stable Diffusion SDXL ControlNet에 적합합니다.
이 모델은 원래 제 개인적인 리얼리스틱 모델을 위해 학습되었으며, 최종 업스케일 프로세스에서 이미지 디테일을 향상시키는 데 사용됩니다. 적절한 워크플로우를 사용하면 고해상도, 고디테일 이미지 수정에 우수한 결과를 제공합니다.
대부분의 오픈소스에서 SDXL Tile 모델이 제공되지 않기 때문에, 이 모델을 공유하기로 결정했습니다.
개발자: TTPlanet
모델 유형: ControlNet Tile
언어(NLP): 언어 제한 없음
사용법
중요: Tile 모델은 업스케일 모델이 아닙니다!!! 원본 크기의 이미지 디테일을 강화하거나 변경하는 데 사용되며, 사용 전 이 점을 명심하세요!
이 모델은 기본 모델 스타일을 크게 변경하지 않습니다. 단지 업스케일된 픽셀 블록에 기능을 추가할 뿐입니다.
-- 웹 UI에서 일반 ControlNet 모델을 선택하고 Tile 모델로 지정한 후, Ultimate Upscale 스크립트에 Tile_resample을 사용하세요.
-- ComfyUI에서 ControlNet 모델을 로드하고 ControlNet 조건에 적용하세요.
-- 웹 UI의 t2i에서 사용하려면 적절한 프롬프트 설정이 필요합니다. 그렇지 않으면 원본 이미지의 색상이 크게 변경될 수 있습니다. 이 기능을 실제로 사용하지 않아 원인은 잘 모르겠습니다.
-- 데이터셋에서 가져온 이미지에서 더 나은 성능을 발휘합니다. 그러나 i2i 모델에서는 모두 잘 작동하며, 일반적으로 최종 업스케일이 적용되는 곳입니다.
-- 이 모델은 리얼리스틱 학습 세트 기반으로 구성되어 있으므로 만화나 애니메이션 적용은 보장되지 않습니다.
-- Tile 업스케일의 경우, 좋은 결과를 얻으려면 노이즈율을 0.3-0.4로 설정하세요.
-- ControlNet 강도는 0.9로 설정하는 것이 좋습니다.
-- 인물 이미지 수정 시, IPA와 ControlNet의 조기 종료를 사용하면 더 나은 결과를 얻을 수 있습니다.
-- 우수한 리얼리스틱 기본 모델을 선택하는 것이 중요합니다!
흐릿함 복구:
포즈와 인물을 유지하면서 옷 변경:
기본 기능 외에도, Tile은 사용자의 모델에 따라 이미지 스타일을 변경할 수 있습니다. 프리프로세서를 "없음"(Resample 아님!)으로 선택하면, 하나의 이미지에서 매우 정밀하게 다양한 스타일을 구축할 수 있습니다!
편향, 위험 및 한계
- 상업적 사용 금지!!!! 성인 콘텐츠에는 사용하지 마세요
권장 사항
ComfyUI를 사용하여 자체 업스케일 프로세스를 구축하세요. 잘 작동합니다!!!
ControlNet 개발자 lllyasviel Lvmin Zhang(Lyumin Zhang)에게 많은 즐거움을 주셔서 감사드리며, HuggingFace가 학습 세트를 제공하여 학습을 원활하게 해주신 것에 감사드립니다.
모델 카드 연락처
원하시면 연락주세요: discord "ttplanet", Civitai "ttplanet"