Genshin TCG Style [Wan 14B]

트리거 단어: Genshin_TCG
모델: Wan 2.1 t2i 14B
모든 예시는 1.0 LoRA 강도 및 CFG=6으로 생성되었습니다.
추론에는 Kijai의 워크플로우를 사용했습니다.

프롬프트 작성 시 다음 구조를 사용하는 것을 권장합니다:

"Genshin_TCG 미디엄 샷" + 캐릭터 설명(외모, 자세, 복장) + 핵심 아이템(무기/아티팩트) + 배경 + 역동적 요소. 색상 대비(어두운 갑옷 대비 빛나는 액센트)와 신비로운 분위기(별이 빛나는 하늘, 마법의 입자)에 특히 주의를 기울입니다.

TCG 카드처럼 금색 테두리를 추가하고 싶다면 프롬프트 끝에 다음을 추가하세요:

프레임은 각 모서리에 별 모양의 문양과 가장자리에 정교한 패턴이 새겨진 황금 테두리로 장식되어 우아하고 세련된 시각적 효과를 창출합니다.

Wan 1.3B 이전 버전은 여기에서 확인할 수 있습니다: /model/1728768/genshin-tcg-style-wan-13b

학습 세부 정보

14B 버전을 학습하는 것은 1.3B 버전보다 훨씬 더 쉽습니다. 움직임이 부드럽고 생성 중 거의 모든 아티팩트가 없습니다. 학습에는 Genshin Genius Invocation TCG 카드 게임의 54개 짧은 비디오로 구성된 데이터셋을 사용했습니다. 학습에 diffusion pipe를 사용했기 때문에, toml 파일만 공유합니다.

데이터셋 설정:

resolutions = [[514, 304]]
enable_ar_bucket = true
min_ar = 0.5
max_ar = 2.0
num_ar_buckets = 7
frame_buckets = [1, 32, 33]

[[directory]]
path = "/home/user/Genshin_TCG_dataset/videos/304_514"
num_repeats = 5
resolutions = [[514, 304]]

[[directory]]
path = "/home/user/Genshin_TCG_dataset/videos/368_620"
num_repeats = 5
resolutions = [[620, 368]]

[[directory]]
path = "/home/user/Genshin_TCG_dataset/videos/492_828"
num_repeats = 5
resolutions = [[828, 492]]

학습 설정:

output_dir = "/home/user/Genshin_TCG/14B"
dataset = "/home/user/config/dataset/dataset_v001.toml"

epochs = 80
micro_batch_size_per_gpu = 1
pipeline_stages = 1
gradient_accumulation_steps = 1
gradient_clipping = 1
warmup_steps = 10
eval_every_n_epochs = 1
eval_before_first_step = true
eval_micro_batch_size_per_gpu = 1
eval_gradient_accumulation_steps = 1
save_every_n_epochs = 1
activation_checkpointing = 'unsloth'
partition_method = "parameters"
save_dtype = "bfloat16"
caching_batch_size = 1
steps_per_print = 10
video_clip_mode = "single_beginning"
blocks_to_swap = 32

[model]
type = "wan"
ckpt_path = "/home/user/Wan2.1-T2V-14B"
dtype = "bfloat16"
transformer_dtype = "float8"
timestep_sample_method = "logit_normal"

[adapter]
type = "lora"
rank = 64
dtype = "bfloat16"

[optimizer]
type = 'AdamW8bitKahan'
lr = 5e-5
betas = [0.9, 0.99]
weight_decay = 0.01
stabilize = false