BAXL | Blue Archive Flat Celluloid Style Fine-tune | 碧蓝档案赛璐璐平涂画风 [Kohaku Δ & Animagine XL v3]

세부 정보

모델 설명

BAXLv3가 이제 출시되었습니다!

일반화 능력에 초점을 맞추어, 대다수 저작권 캐릭터의 아트 스타일을 치명적인 망각/과적합 없이 커버합니다.

test img @QR0W_

이 업데이트에서 기대할 수 있는 점:

  • 개선된 일반화 능력

  • 블루 아카이브 스타일에 더 가까움

  • 아름다운 반사광

  • KohakuΔ 기반으로 향상된 LoRA 호환성

이 업데이트에서 기대할 수 없는 점:

  • 개선된 해부학적 구조, 항상 잘 그려진 손과 발

  • 사용이 간편함

  • 주어진 프롬프트에 대한 집중력 (이전 버전과 비교)

  • 다수 인물 / NSFW 지원 (이 모델은 pony과 같은 수준에 도달하지 않을 것입니다)

  • 상세한 배경

사용법:

프롬프트 로직은 KohakuΔ와 동일합니다.

1girl, <character>, <general tag>, <quality tag>

부정 프롬프트:

lowres, error, worst quality, low quality, jpeg artifacts, watermark, signature, username

프롬프트는 깔끔하고 정리된 상태로 유지하세요. 프롬프트 길이는 75 토큰 미만을 권장합니다.

권장 사항:

  1. CFG: 4-7 (높일수록 해부학적 구조가 약간 개선됨)

  2. 샘플러: Euler A @ 25스텝

  3. 해상도: 768 - 1792(초광각만), 매 단계 +32

  4. DanTagGen 사용

    • 온도를 낮게 설정 (<1)

    • 금지 단어: sketch, comic, flat color, .*official.*, .*boy.*, mecha, no humans, text, pixel art, speech bubble

    • 전체 태그 길이: 짧게

  5. Hires.Fix 사용

    • 업스케일러: DATx2

    • 노이즈 제거: 0.4-0.5

  6. ADetailer 사용

  7. 일반적인 색상 팔레트를 생성하려면, 색상 체계를 프롬프트 맨 앞에 배치하세요.

차이점:

베이스 모델을 KohakuΔ rev1로 전환했습니다.

이유:

  • AniXL에서 사용한 미적 평가 기준은 셀루로이드 아트 스타일에 친화적이지 않으며, AniXL의 품질/부정 태그는 너무 쉽게 작동하여 깔끔하고 얇은 선을 그리는 데 오히려 방해가 됩니다. 또한 AniXL은 일부 캐릭터에 과적합된 것으로 보입니다.

  • 👆솔직히, 아직 AniXL3.1에 동일한 학습 방식을 적용해보지 않았습니다. 제가 최종적으로 사용하는 학습 구성으로 수정될 수 있을지도 모릅니다.

  • 반면, KohakuΔ는 학습이 부족한 상태이므로 유연하고 미세 조정에 더 친화적입니다.

  • AniXL3.1처럼 태깅하는 방법은 잘 모르겠지만, KohakuΔ는 제가 Hakubooru에서 동일한 데이터셋을 확보할 수 있었기 때문에 어떻게 태깅해야 할지 알고 있습니다.

더 나은 일반화 및 수평 구성

  • KohakuΔ rev1은 학습 시간 부족(듀얼 3090이지만, 뭐 기대할 수 있겠어요?)으로 해부학 및 구성이 좋지 않습니다.

  • 정규화 덕분에 이 미세 조정은 일부 개선을 가져왔습니다(특히 수평 이미지). 하지만 솔직히 말하자면, BAXLv3-Δ는 매우 쉽게 손이나 다리가 비정상적으로 생성됩니다. 프롬프트에 문제가 있으면(너무 길거나, 의미 반복, 태그 순서 부적절) 더 나빠집니다.

정규화 / 데이터셋 업데이트

  • 정규화 Danbooru 데이터셋, 클래스 토큰=solo:

  • 1000개 이상의 수평 이미지

*   즐겨찾기 수 > 30

*   태그: "1girl, solo"
  • 1000개 이상의 수직 이미지
*   즐겨찾기 수 > 30

*   태그: "1girl, solo"

*   셀루로이드 아트 스타일 및 BA 스타일 모방 아티스트
  • 데이터셋을 0068 이벤트 CG로 업데이트, 5번째 PV 스크린샷 포함

학습 세부 정보:

  • 이미지 수: 574개(중복 제거)

  • min_bucket_reso = 256

  • max_bucket_reso = 4096

  • bucket_reso_steps = 32

  • train_batch_size = 2

  • gradient_accumulation_steps = 32

  • learning_rate = 7.5e-6 (UNet만)

  • lr_scheduler = "constant_with_warmup"

  • lr_warmup_steps = 100

  • optimizer_type = "Lion8bit"

  • min_snr_gamma = 5

  • 배치 크기 = 2

  • mixed_precision = "fp16"

  • full_fp16 = true

  • optimizer_args = [ "weight_decay=0.1", "betas=0.9,0.95" ]

  • shuffle_caption = true

  • weighted_captions = false

  • keep_tokens = 0

  • caption_tag_dropout_rate = 0.1

알려진 문제점:

  • halo / heterochromia / .*focus.*는 일부 상황에서 과적합된 것으로 보입니다. 부정 프롬프트에 포함시키면 개선될 수 있습니다.

  • 배경이 불안정하며, simple background, white background와 같은 프롬프트를 입력해도 불필요한 요소를 그려내기 쉽습니다.

라이선스 및 면책 조항

  • 라이선스:

    Fair AI Public License 1.0-SD

  • 면책 조항:

    Blue Archive의 팬아트 지침 ( JP | CN )에 따르면, 이 모델은 상업적 사용을 금지합니다. 이 모델 또는 이 모델의 병합 버전을 판매하거나, 이 모델 또는 병합 버전으로 생성된 이미지의 판매, 또는 Patreon/Fanbox 등 모니타이징 플랫폼의 ‘유료 멤버 전용’ 서비스는 포함됩니다.

===========XLv2 INFO===========

요약:

Animagine XL V3 기반으로, 블루 아카이브 공식 일러스트를 미세 조정 데이터셋으로 사용하였습니다. 이 모델을 상업적 용도로 사용하는 것은 금지됩니다. 이 모델을 사용하기 전 아래 면책 조항을 꼭 읽어주세요.

사용법:

  • 프롬프트 순서 권장:

  • 캐릭터 이름, 1girl, 기타 태그, 품질 태그

  • 권장 품질 태그(다른 품질 태그는 모두 제거):

  • flat_coating clear_color highres absurdres best_quality

  • 일반 이미지를 생성할 때 masterpiece 사용 금지. 이 태그는 플랫 코팅을 망칠 수 있습니다.

  • 부정 프롬프트 권장:

  • nsfw, lowres, worst quality, low quality, bad perspective, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, artist name

  • 부정 프롬프트에 blurry 사용 금지

  • 권장 해상도: A3XL과 동일하지만, 수직은 1600x900 이하, 수평은 더 낮게 제한

  • 높은 해상도 = BA 스타일에 더 가까움

  • CFG 5, Euler A, 25스텝

  • 이 모델을 Animagine XL V3과 동일하게 취급할 수 있습니다. 모든 태그는 동일한 방식으로 작동합니다.

  • Animagine XL V3 기반 LoRA는 잘 작동합니다.

  • 권장 업스케일러: AnimeVideo v3

  • 색상 체계 학습 없음

  • 피드백을 주세요. 향후 개발을 위한 제안이 필요합니다.

면책 조항:

Animagine XL V3의 라이선스는 이 모델의 병합 버전을 동일한 권한으로 공개하도록 요구합니다. 즉, 사용자는 생성 서비스를 제공하거나 이 모델로 생성된 이미지를 판매할 수 있습니다.

하지만 Blue Archive의 팬아트 지침 ( JP | CN )에 따르면, 이 모델(BArtstyle)은 어떤 형태의 상업적 사용도 허용되지 않습니다. 이 모델이나 병합 버전의 판매, 이 모델이나 병합 버전으로 생성된 이미지의 판매, 또는 Patreon/Fanbox 등 모니타이징 플랫폼의 ‘유료 멤버 전용’ 서비스가 포함됩니다.

이 모델의 라이선스 변경은 Animagine XL의 제작자인 Cagliostro Research Lab으로부터 허가를 받았습니다. 다시 한 번, 그들의 이해와 오픈소스 커뮤니티에 대한 헌신에 진심으로 감사드립니다. ((허가 출처)

免责声明:

根据 Animagine XL V3 的许可证,基于该模型的衍生模型应以相同授权方式公开,即允许用户使用线上生成服务,或售卖该模型生成的图片。

但根据《<蔚蓝档案>同人创作指引》 ( 日文 | 中文 ),此模型(BArtstyle)**不得用于任何形式的商业用途,**包括但不限于售卖该模型及其衍生模型自身或其生成的图片,或Patreon/Fanbox等众筹平台的“订阅会员限定”服务。

该许可证授权范围变更得到 Animagine XL 作者 Cagliostro Research Lab 的许可。

在这里再次感谢他们的理解,以及他们对于开源社区的贡献。(授权来源

===========XLv1 INFO===========

사용법:

이 모델은 알파 단계이며, 학습이 상당히 부족하며 블루 아카이브 캐릭터에만 완벽하게 작동합니다.

  • 이 모델을 Animagine XL V3과 동일하게 취급할 수 있습니다. 모든 태그는 동일한 방식으로 작동합니다.

  • Animagine XL V3 기반 LoRA는 잘 작동합니다.

  • 권장 업스케일러: AnimeVideo v3

  • BArtstyleDBv1과 마찬가지로 색상 태그로 학습되었지만, 효과가 그리 좋지 않은 것으로 보입니다.

  • 피드백을 주세요. 향후 개발을 위한 제안이 필요합니다.

학습 세부 정보:

AdamW8bit

1024x1024, 이미지 200장

배치 크기 1, 200 에포크

UNET: 1E-5

TE1/TE2: 5E-6

15회 재시작 코사인 스케줄러

===========DBv1 INFO===========

사용법:

  • 긍정 프롬프트:

  • BArtstyle LoRA와 마찬가지로 색상 체계가 여전히 작동하며, blue theme 또는 pink theme와 같은 전형적인 색상을 과적합 없이 원본 데이터에 더 가깝게 구현했습니다.

  • 자연어 + 낮은 CFG (4.5-6) + 주사위 굴리기 + 선택적 선정 > "품질 태그"

  • 내 테스트 결과, 첫 번째 시도에서 약 30%의 이미지가 충분히 좋았습니다. 유사한 결과를 얻지 못했다면 프롬프트에 중복 또는 충돌하는 태그가 있는지 확인하고, 프롬프트를 줄이며 CFG를 낮춰보세요.

  • 부정 프롬프트:

  • 자신이 무엇을 하고 있는지 확신하지 못한다면 절대 긴 부정 프롬프트를 사용하지 마세요!!!

  • 무작위 생성에는 간단한 EasyNegativeV2로 충분합니다.

  • 이 모델이 여전히 과도한 CounterFeit 스타일을 보인다고 생각한다면, 부정 프롬프트에 glowing, 3d, painting \(medium\), photorealistic, nsfw를 추가해볼 수 있습니다. 하지만 효과를 보장할 수는 없습니다.

  • VAE: WD1-4-kl-f8-anime2-bless09.ckpt

  • 샘플러: Euler A

  • 스텝: 50-100

  • 네, CHAD Euler A는 여전히 원본 DPM보다 낫습니다.

  • 업스케일러: AnimeVideo v3

  • 스텝: 10-15

  • 노이즈 제거: 0.45-0.55

베이스 모델:

  • Counterfeit V3-fp16-fix

  • 6개월의 기다림 끝에, 제작자가 CFv3의 VAE 수선 버전을 공개했습니다. 원본 버전은 VAE에 심각한 문제를 보였고, 이로 인해 CFv3의 모든 LoRA가 손상되었습니다. VAE를 교체해도 도움이 되지 않았습니다. 사용 중이라면 업데이트를 강력히 권장합니다.

  • 이 모델은 NAI 1.0 LoRA와 호환되는 유일한 학습 모델인 것으로 보입니다. 즉, 이 모델만이 미세 조정에 적합합니다.

데이터셋:

  • 블루 아카이브 공식일러스트 200장 + 플립, 총 400장

  • BArtstyle LoRA와 비교해 완전히 재구성된 데이터셋입니다.

  • 가능한 한 최고 해상도 이미지를 사용하고, 품질 향상을 위해 자르기 처리

  • XnConvert로 1280x1280으로 다운스케일

학습 설정:

  • 옵티마이저: AdamW8bit

  • 스케줄러: Warmup 포함 상수

  • 전체 스텝의 10%까지 웜업

  • UNET LR: 1e-6

  • TE LR: 1.25-7

  • UNET LR의 1/8을 권장

  • 총 스텝의 50%에서 TE 학습을 중지

  • 에포크: 100

  • 배치 크기: 1

  • 스텝: 40000

  • 해상도: 1280x1280

  • 소요 시간: 10시간 27분

이 모델로 만든 이미지

이미지를 찾을 수 없습니다.