Style IPAdapter for NoobAI-XL
세부 정보
파일 다운로드
모델 설명
NoobAI-XL을 위한 스타일 IPAdapter 미세 조정
이것은 참조 이미지에서 주제나 구성을 전달하는 대신, 그림 스타일을 전달하기 위해 NoobAI의 IP-Adapter를 미세 조정하는 개인적인 실험입니다.
기대한 만큼 항상 잘 작동하지는 않으며, 더 많은 데이터를 수집하는 것 외에 이를 더 개선하는 방법은 아직 모릅니다. (또한, 현재는 하나의 이미지로만 학습된 LoRA가 꽤 효과적입니다.) 따라서 이 모델을 스타일 탐색을 위한 장난감 모델로 공개하기로 결정했습니다.
이 어댑터는 베이스 모델 NoobAI-XL EPS V11 기반으로 NoobAI의 IP-Adapter Mark 1을 미세 조정했습니다.
2025년 3월 11일 확장 기능 업데이트: Forge 지원 추가.
2025년 2월 12일 확장 기능 수정: 누군가 ReForge의 개발 브랜치에서만 확장 기능이 작동한다는 버그를 보고했습니다. ReForge의 메인 브랜치에서 확장 기능에 문제가 있다면, 확장 기능을 업데이트하거나 개발 브랜치로 전환해 주세요.
사용 방법
참고: 더 세밀한 디테일을 포착하기 위해, 이 어댑터는 원래의 224x224 대신 448x448 입력 크기를 사용하는 수정된 CLIP-ViT-bigG 버전으로 미세 조정되었습니다. 따라서 정확히 작동시키려면 제가 만든 맞춤 확장 기능이 필요합니다. 이 확장 기능은 공식 CLIP-ViT-bigG(NoobAI의 IP-Adapter가 사용하는 것)을 재사용하고 실행 시 패치를 적용하므로, 이미 가지고 있다면 추가 모델을 다운로드할 필요가 없습니다.
Forge/ReForge WebUI
ip-adapter safetensor 파일을 다운로드하여
<ReForge_Install_Path>\models\ControlNet폴더에 저장합니다.CLIP-ViT-bigG-448용 이 확장 기능을 설치하고 UI를 재시작합니다.
ControlNet 패널에서 프리프로세서 목록에서
CLIP-ViT-bigG-448 (IPAdapter)를 선택하고, 모델 목록에서 스타일 어댑터를 선택합니다.참조 이미지를 업로드하고, 필요하다면 큰 참조 이미지의 경우 'perfect pixel'을 활성화합니다.
프롬프트를 입력하고 생성하세요!
ComfyUI
ip-adapter safetensor 파일을 다운로드하여
<ComfyUI_Install_Path>\ComfyUI\models\controlnet폴더에 저장합니다. (ReForge도 사용 중이라면, ReForge의 controlnet 폴더에 저장하고 ComfyUI에서 해당 폴더를 링크해도 됩니다.)이 확장 기능을 설치하고 UI를 재시작합니다.
Extend Clip Vision Input Size노드와IPAdapter Advanced (Clip Size Aware)노드를 사용하세요:
비교
팁
먼저 일반적으로 프롬프트를 작성한 후, 대상 스타일과 관련된 태그를 사용해 강화하거나 혼합하세요.
특히 주체가 중앙에 있지 않거나 상대적으로 작을 때, 다른 소프트웨어에서 먼저 참조 이미지를 자르고 크기를 조정하세요. 일반적인 규칙은 참조 이미지를 448x448 정사각형으로 조정한 후 스타일이 여전히 명확하게 인식될 수 있도록 하는 것입니다. 세로형 풀바디 이미지의 경우, 반신 또는 흉상 형태로 자르는 것을 권장합니다.
품질 태그는 대상 스타일이 깨끗한지 여부에 따라 스타일을 개선하거나 악화시킬 수 있습니다.
구도가 누출될 경우, 이 어댑터는 원래 어댑터보다 긍정/부정 프롬프트를 사용해 구도를 덮어쓰거나 제거하기가 더 쉽습니다.
일부 아티스트의 스타일에는 특정 구도 편향이 있을 수 있습니다(예: 치비). 하지만 이 어댑터는 이러한 요소를 스타일의 일부로 반드시 학습하지는 않습니다. 필요하다면
chibi,cute와 같은 관련 태그를 사용하세요.점 눈과 같은 요소도 마찬가지입니다.고급 사용법: 원래 어댑터, 아티스트 태그, 프롬프트 수정과 결합하거나, 샘플링 일정의 일부 분야에만 어댑터를 적용하세요.
먼저 빈 긍정 프롬프트로 일부 임의의 이미지를 생성하여 어댑터가 참조 이미지에서 무엇을 학습하는지 확인할 수 있습니다.
제한 사항
선과 셰이딩 기법 같은 일반적인 실행 스타일만 모방하며, 얼굴/신체 해부학은 모방하지 않습니다.
다음 경우에 잘 학습되지 않습니다:
구도나 재료에 기반한 스타일: 예를 들어 조각상의 사진은 실제 조각상이 아닌 부드러운 반실재주의 셰이딩을 생성합니다. (
sculpture \(artwork)태그 사용 및 색상 관련 태그 제거로 개선 가능)하이퍼리얼리즘처럼 매우 세밀한 스타일.
비정상적인 해부학 또는 모호한 형태를 가진 추상 스타일.
특정 스타일 요소 조합을 환각할 수 있습니다. 예: 부드러운 셰이딩의 2D 아트를 3D 아트로 착각함.
JPEG 잡음, 흐림, 노이즈 패턴도 함께 전달합니다.
학습 데이터셋은 퓨리가 주를 이루며, 이로 인해 애니메이션 스타일 다양성에 어떤 영향을 미치는지는 불확실합니다.