NovelAI_Diffusion_V2

이것은 NovelAI에서 출시한 novelai_v2 모델로, safetensors 형식으로 변환되었습니다. 출력 결과에는 차이가 없습니다.

SD1.5를 기반으로 하므로 다운로드 후 즉시 추론에 사용할 수 있습니다. 자세한 내용은 다음 링크를 참조하세요.

https://blog.novelai.net/novelai-diffusion-v2-weights-release-b9d5fef5b9a4

이 모델은 오래된 것처럼 보일 수 있지만, 훈련 품질이 매우 높습니다. 항상 우리보다 앞서 있습니다. 태그 인식 능력은 v1보다 훨씬 우수하며, 최근의 대규모 SDXL 미세 조정과 견줄 수 있습니다. 또한 U-Net만으로 학습되었기 때문에 TE 오염이 없는 깨끗한 모델입니다.

이 모델은 T2I 뿐만 아니라 기존 SD1.5 모델과 병합하거나 I2I를 통해 다른 모델의 디테일과 스타일을 강화하는 데도 유용합니다.

■ 이 모델은 SD1.5를 기반으로 하지만, 원본 해상도는 1024px로, 고해상도 생성이 가능합니다.

VAE도 개선된 것으로 보이며, 이전의 흐릿함 문제가 사라지고 색상이 더 생동감 있게 나타납니다. 이 하나만으로도 기존 SD1.5 애니메이션 모델에도 큰 도움이 될 것입니다.

또한 1024x1536px에서도 생성이 가능합니다—약간 안정성이 떨어지지만 실용적입니다. 약 1344px에서 더 안정적일 수 있습니다.

저의 모든 샘플 이미지는 Hires fix를 사용하지 않고 1024x1536으로 생성되었습니다.

결과는 생동감 있고 극도로 선명합니다.

눈과 작은 액세서리와 같은 미세한 디테일을 렌더링하는 능력도 뛰어납니다.

다른 모델과 병합해 보는 것도 흥미로울 수 있습니다.

기존 512px 모델과 병합하면 768px 비율(예: 640x960)로 이미지를 생성할 수 있습니다.

이 모델을 사용할 때는 CLIP skip2로 설정하세요.

■ 현재 Civitai의 SD1.5 이미지 생성은 512px로 제한되어 있습니다. 1024px 지원을 요청했지만, 추가될지 불확실합니다. Civitai를 추론에 사용하려는 분들께 죄송합니다.

https://feedback.civitai.com/p/please-consider-adding-768px-and-1024px-resolution-options-for-image

이 요청에 좋아요를 눌러주시면 도움이 됩니다. 더 많은 지지가 중요성을 보여줄 것입니다.

■ 이 모델은 다양한 개념을 이해하고 태그 프롬프트에 잘 반응합니다.

U-Net만으로 학습되었기 때문에 깨끗하며, 미세 조정에 훌륭한 출발점입니다.

이미 많은 개념을 알고 있으므로 텍스트 인코더를 학습할 필요가 없을 수 있습니다.

현재 1536px에서는 캐릭터 분리가 발생할 수 있지만, 1280px 또는 1536px에서 LoRA를 학습하면 안정성이 향상될 수 있습니다.

■ ComfyUI 추론 워크플로를 준비했습니다. 참고로 자유롭게 사용해 주세요.

Tipo와 와일드카드를 사용하는 워크플로를 추천합니다. 태그를 직접 생각할 필요 없이 다양한 변형을 시도할 수 있기 때문입니다.

저도 이 모델을 완전히 이해하지 못했기 때문에 더 나은 이미지 생성 방법이 있을 것입니다.

■ 고해상도 추론이 느리다면 HyperLoRA를 사용해 단계 수를 줄일 수 있습니다.
사용법에 익숙하지 않지만 참고용으로 워크플로를 추가했습니다.
더 나은 워크플로나 속도 향상 방법이 있다면 알려주세요.

https://huggingface.co/ByteDance/Hyper-SD/blob/main/Hyper-SD15-8steps-CFG-lora.safetensors

■ SDXL에서 사용된 기본 해상도 비율과 동일하게 사용하는 것이 좋습니다. 약간의 불안정성을 감수한다면 1024x1536도 가능합니다.

1024x1024

896x1152

832x1216

768x1344

640x1536

■ 아직 초기 테스트 단계이며 품질이 완벽하지는 않지만, 1024x1536 생성을 안정화하기 위한 DoRA를 만들었습니다.
지속적으로 테스트를 진행하고 시간이 나면 업데이트하겠습니다.

제가 생각하기에, 고해상도의 이점 외에도 LoRA는 과노출과 과포화를 줄여 이미지를 더 균형 있게 만드는 데 도움이 되므로, 스타일 LoRA를 만드는 것이 좋습니다.

/model/1253884?modelVersionId=2133885

■ 품질 안정화를 돕기 위해 네거티브 TI를 만들었습니다. 자유롭게 사용해 보세요.

/model/1809022?modelVersionId=2047219

■ 또한 반실제 스타일의 DoRA도 만들었습니다.

/model/1253884?modelVersionId=2134238

■ 추천 샘플러:

・euler_ancestral: 가장 안정적이며 파괴될 확률이 가장 낮지만, 결과는 평균적입니다.

・dpmpp_sde: 텍스처와 안정성의 뛰어난 균형. 다른 샘플러보다 느리지만 단계 수는 절반만 필요합니다. 2m/3m보다 선호합니다.

・2m/3m: 다른 샘플러와 동일한 단계 수가 필요하며, 단계 수가 적으면 파괴될 수 있습니다.

・gradient_estimation: euler과 유사하지만 수렴이 빠르므로 낮은 단계에서도 더 안정적입니다.

저는 "simple" 스케줄러를 선호합니다.

"GITS 스케줄러"는 선명하고 세련되며 생동감이 뛰어나고 속도가 빠르며 빠르게 수렴하지만, 설정 변경에 민감하게 반응할 수 있습니다. 불안정한 설정은 문제를 일으킬 수 있으며, 손과 해부학적 구조가 파괴되기 쉽습니다. 결과가 나빠지면 설정을 조정하거나 일반 스케줄러로 돌아가세요.

■ Uncondzero를 사용하는 것이 좋습니다. 약간의 속도 향상과 autocfg 효과를 통해 생성 안정성을 강화합니다.

https://github.com/Extraltodeus/Uncond-Zero-for-ComfyUI

■ 태그 순서

"1boy, 1girl, characters, series, 기타 일반 태그..."

하지만 공식 설명의 대부분은 v3 이후 버전을 기준으로 하므로 v2에는 적용되지 않을 수 있습니다. 자신에게 의미 있는 순서를 사용하는 것이 아마도 괜찮을 것입니다.

novelai_v1 방식이 때로는 더 나은 결과를 낼 수도 있으며, 오히려 더 올바를 수 있습니다.

품질 태그의 순서는 약간 불분명하지만, 공식 V2 모델 예시에서는 품질 태그가 시작 부분에 위치한 것으로 보입니다. v3 이후에는 끝부분에 추가됩니다. 제가 잘못 알고 있다면 알려주세요.

실제로 태그 순서는 강도와 주요 주제를 결정합니다.

간단한 프롬프트의 경우, 품질 태그를 먼저 두면 고품질 결과를 더 쉽게 얻을 수 있습니다.

자세한 프롬프트의 경우, 품질, 메타데이터, 등급 태그가 원치 않는 요소를 도입할 수 있으므로 끝에 두면 간섭을 피할 수 있습니다. 아마도...

모델이 인식하는 태그를 확인하려면, 실제 NovelAI 웹사이트에서 이미지 생성 시 나타나는 추천 태그를 확인하는 것이 가장 신뢰할 수 있습니다.

■ 새로운 고유 태그 목록 (블로그에서는 다른 태그에 대해 언급하지 않지만, 나머지는 nai_v1과 동일할 수 있습니다).

여기에서도 유용한 정보를 찾을 수 있습니다.

https://docs.novelai.net/image/tags.html

https://docs.novelai.net/image/qualitytags.html

■ 품질 태그

best quality

amazing quality

great quality

normal quality

bad quality

worst quality

■ 미적 태그

very aesthetic

aesthetic

displeasing

very displeasing

■ 연도 태그

year 2022 등...

Danbooru 데이터셋 경향에 따라 2020년 이후의 이미지는 일반적으로 품질이 높습니다. 특히 2022년 이후가 그렇습니다.

2018년 이전의 이미지는 전문가가 아닌 경우 혼합되어 있습니다. 어떤 연도 태그가 잘 작동하는지 예측하는 가장 좋은 방법은 Danbooru 사이트의 이미지 경향을 확인하는 것입니다.

이 모델은 2023년 말에 만들어졌으므로 그 이후의 태그는 작동하지 않을 수 있습니다. 2023년 태그는 잘 작동하는 것처럼 보이지만 신뢰도는 낮습니다. 2022년 이전 태그는 안전합니다.

개인적으로 2014년과 같은 오래된 스타일에 연도 태그를 사용하는 것이 효과적이었습니다.

최근 연도는 큰 이점을 주지 않았습니다—가끔 분위기를 좋게 만들었지만, 종종 흑백 이미지나 텍스트 아티팩트를 유발했습니다.

year 2020과 year 2021은 비교적 나았습니다.

특정 연도의 스타일을 원하지 않는다면, 연도 태그를 품질 지표로 사용하는 대신 사용하지 않는 것이 더 안정적입니다.

■ 등급 태그

rating:general

rating:sensitive

rating:questionable

rating:explicit

NSFW (대문자와 소문자 간 결과 차이 없음)

novelai_v2의 경우 "rating:"을 추가하는 것이 올바른지 불분명합니다.

추가/미추가 모두 테스트해 보았지만 확정할 수 없었습니다.

■ 이름이 변경된 태그

v는 "peace sign"으로 표기해야 합니다.

double v는 "double peace"로 표기해야 합니다.

|_|는 "bar eyes"로 표기해야 합니다.

\||/는 "open \m/"로 표기해야 합니다.

:|는 "neutral face"로 표기해야 합니다.

;|는 "neutral face"로 표기해야 합니다.

"eyepatch bikini"는 "square bikini"로 표기해야 합니다.

"tachi-e"는 "character image"로 표기해야 합니다.