War and Diffusion: WARHAMMER 40K

먼 미래의 어두운 암흑 속에서는 전쟁만이 존재한다... 그리고 확산이다.

NSFW 애니메이션 버전은 여기서 찾을 수 있습니다 여기

서문

War and Diffusion(WnD)는 제가 진행하는 워해머 40,000 미세 조정 프로젝트의 첫 번째 릴리즈입니다.

v1은 샘플 모델입니다.

이 릴리즈(WnD-v1)는 전체 데이터셋의 일부(절반 미만)를 사용해 학습되었습니다. 전체 모델은 여러 차례 개선이 이루어졌으며 아직 학습 중입니다.

샘플 모델에는 한계가 있지만, SDXL 미세 조정 생태계에서 SDXL용 미세 조정 모델이 부족하여 모델 병합 가능성이 제한된 상황을 보완하기 위해 이 버전을 공개하기로 결정했습니다.

커피 한 잔 사주세요 ❤

https://ko-fi.com/ndimensional

모든 기부금은 새로운 Stable Diffusion 미세 조정 모델 및 오픈소스 AI 도구 개발에 사용됩니다.

개요

기반 모델: SDXL-v1.0

데이터셋: 전체 WH40K 데이터셋의 약 1/4에 해당하는 하위 집합. 설명문은 제가 개발 중인 MLLM( GPT4v/o가 아님) 시스템을 통해 생성되었으며, 인간 평가 및 제가 개발 중인 환각 감지 프로젝트를 통해 검증되었습니다.

VAE: sdxl-vae-fp16-fix

가로세로 비율: 일반적인 권장 사항이며, 전체 목록은 아님.

1344x768 (16:9)
1536x640 (21:9)
1152x896 (4:3)
1216x832 (3:2)
1024x1024 (1:1)
1024x704 (11:16)
768x1344 (9:16)
896x1152 (3:4)
832x1216 (2:3)
704x1024 (16:11)

학습 하드웨어: A100 가속기 2대

현재 알려진 한계:

WnD-v1은 최종 버전만큼 강력하지는 않습니다. 그러나 40K의 다양한 개념들 중 상당 부분은 잘 학습했습니다.

참고: 일부 샘플 모델에 있어야 할 개념들이 누락되었습니다. 이는 학습용 하위 데이터셋을 생성할 때 실수로 이전 버전의 데이터셋 경로를 참조했기 때문입니다. 다행히 제가 알고 있는 두 개의 누락된 개념에는 LoRA가 존재합니다: Aeldari, Necron.

다음 몇 주 동안 최신 데이터셋을 기반으로 새롭게 시작해 업데이트된 버전을 미세 조정할 예정입니다.

프롬프트 작성

자연어 프롬프트, 태그 프롬프트, 하이브리드 프롬프트 모두 지원됩니다.

팁:

생성하려는 미디어 유형(예: 디지털 일러스트, 회화, 사진 등)을 프롬프트의 시작에 명시하세요.
사용한 데이터셋 버전에는 설명문에 Skull이라는 단어가 과도하게 반복된 결함이 있었습니다. 이에 따라 skull 및 skulls 토큰에 주의/강조를 적용해 주의도를 낮추는 것이 좋습니다. 예: [[skull]]. 이 문제는 이후 데이터셋 버전에서 해결되었으며, 향후 릴리즈에서는 문제가 되지 않습니다.
마찬가지로, WnD-v1은 전체 데이터셋의 작은 샘플을 사용해 학습되었기 때문에 일부 개념의 세부 사항이 완전히 학습되지 않았습니다. 예를 들어, Death Korps of Krieg와 gasmask를 포함한 프롬프트는 Krieg 인물을 생성하지만, 잘못된 가스마스크를 보여줄 수 있습니다. 이 경우, 문제 토큰의 주의도를 증가/감소시키거나 토큰을 완전히 제거해 보세요. 일부 경우 모델이 해당 개념을 충분히 학습해 추가 토큰이 중복될 수 있습니다. 이 역시 향후 릴리즈에서는 문제가 되지 않습니다.
여러 캐릭터를 묘사할 때, 각 캐릭터의 서로에 대한 상대적 위치와 외모를 별도로 설명하세요. 예: 《우리의 순교한 여신 순교자 수도회》의 수녀와 블러드 레이븐즈 부대의 스페이스 마린을 그린 일러스트. 수녀는 스페이스 마린의 왼쪽에 서 있다. 그녀는 <수녀의 상세 묘사>. 스페이스 마린은 <스페이스 마린의 상세 묘사>. 그리고 손을 기도하듯 모아보세요.
- 태그 프롬프트는 조금 더 어렵습니다. 향후 데이터셋 버전에서 이 문제를 해결할 수 있는 방안을 개발 중입니다. 현재는 첫 번째 캐릭터 토큰을 입력한 후, 첫 번째 캐릭터를 설명하는 태그를 이어붙이고, 두 번째 캐릭터 토큰을 입력한 후, 두 번째 캐릭터를 설명하는 태그를 이어붙이세요. 예: Illustration, Sister of Battle, 검은 색 Sororitas 파워 아머, 단발, 볼트건, 그리고 Space Marine, Blood Ravens 부대, 검정과 크림색 팔뚝 보호구가 있는 진한 빨간 파워 아머, 하이볼터 등
이미지 구성을 설명할 때는 프롬프트의 끝부분에 묘사하세요. 이는 자연어 프롬프트(덜 중요)와 태그/하이브리드 프롬프트 모두에 적용됩니다.
아티스트 태그를 사용할 때는 프롬프트의 가장 끝에 아티스트 토큰을 두세요.