v2.1 & v2.0

다른 버전

966장의 샤이니 컬러즈 카드를 기반으로 한 LoRA (하당다르 곱셈), 26개 캐릭터를 각각 다양한 정도로 인식합니다.

사실은 처음부터 학습하는 대신, deresute-v1.3-epoch16에서 이어가다가 우연히 시작되었고, 세인더엘라 걸스 캐릭터에 대한 지식을 예상보다 많이 유지하고 있습니다. 이는 모델의 용량이 여전히 매우 미약하게 사용되고 있다는 것을 시사합니다.

또한 이는 매우 비효율적인 스타일 전이 방법의 예시이기도 합니다: 먼저 캐릭터를 학습한 후, 관련 없는 스타일 이미지들을 대량으로 학습합니다.

사용법

이 하당다르 곱셈 LoRA를 웹 UI에서 사용하려면 추가 확장 프로그램 설치가 필요합니다.

스타일 자체에는 트리거 단어가 없습니다. 캐릭터에 대해 아래는 캐릭터 태그와 각각의 상위 20개 관련 태그입니다.

Sakuragi Mano,
갈색 눈, 웃는 표정, 1명의 소녀, 입 벌린 채, 갈색 머리, 관람자 보기, 단독, 앞머리, 밝은 갈색 머리, 야외, 치마, 들고 있는 상태, 중간 길이의 머리, 달콤한 표정, 셔츠, 네덜란드 각도, 가슴, 머리 장식, 다수의 소녀, 금발 머리

Kazano Hiori,
검은 머리, 멜로, 입 아래 멜로, 긴 머리, 관람자 보기, 웃는 표정, 1명의 소녀, 단독, 앞머리, 입 벌린 채, 뒤로 묶은 머리, 보라색 눈, 다수의 소녀, 금발 머리, 치마, 드레스, 머리 장식, 가슴, 야외, 들고 있는 상태

Hachimiya Meguru,
금발 머리, 파란 눈, 웃는 표정, 긴 머리, 관람자 보기, 머리 장식, 1명의 소녀, 입 벌린 채, 단독, 가슴, 애호지, 머리핀, 투트레일, 다수의 소녀, 셔츠, 야외, 앞머리, 검은 머리, 치마, 큰 가슴

Osaki Tenka,
긴 머리, 갈색 머리, 노란 눈, 앞머리, 관람자 보기, 1명의 소녀, 눈 사이 머리, 웃는 표정, 단독, 입 벌린 채, 들고 있는 상태, 달콤한 표정, 긴 소매, 드레스, 다수의 소녀, 프릴, 갈색 눈, 땋은 머리, 자매, 치마

Morino Rinze,
빨간 눈, 검은 머리, 앞머리, 짧은 머리, 1명의 소녀, 관람자 보기, 단독, 웃는 표정, 파란 머리, 긴 소매, 머리 장식, 들고 있는 상태, 머리 뭉치, 야외, 다수의 소녀, 치마, 셔츠, 입 벌린 채, 꽃, 긴 머리

Tsukioka Kogane,
긴 머리, 갈색 머리, 앞머리, 관람자 보기, 가슴, 갈색 눈, 큰 가슴, 1명의 소녀, 웃는 표정, 단독, 입 벌린 채, 달콤한 표정, 치마, 보석, 리본, 셔츠, 리본, 드레스, 들고 있는 상태, 야외

Arisugawa Natsuha,
긴 머리, 웃는 표정, 앞머리, 주황색 머리, 관람자 보기, 가슴, 보석, 1명의 소녀, 단독, 귀걸이, 검은 눈, 입 벌린 채, 빨간 머리, 셔츠, 다수의 소녀, 치마, 갈색 머리, 자켓, 애호지, 야외

Kuwayama Chiyuki,
갈색 머리, 긴 머리, 웃는 표정, 관람자 보기, 갈색 눈, 앞머리, 가슴, 1명의 소녀, 애호지, 단독, 땋은 머리, 들고 있는 상태, 입 벌린 채, 보석, 달콤한 표정, 드레스, 치마, 다수의 소녀, 큰 가슴, 셔츠

Osaki Amana,
갈색 머리, 긴 머리, 노란 눈, 웃는 표정, 앞머리, 관람자 보기, 입 벌린 채, 1명의 소녀, 단독, 보석, 가슴, 다수의 소녀, 달콤한 표정, 프릴, 드레스, 들고 있는 상태, 견갑골, 앉아 있는 자세, 치마, 어깨 드러냄

Saijo Juri,
금발 머리, 짧은 머리, 보라색 눈, 1명의 소녀, 관람자 보기, 앞머리, 단독, 웃는 표정, 자켓, 보석, 야외, 셔츠, 반바지, 들고 있는 상태, 다수의 소녀, 입 벌린 채, 네덜란드 각도, 치마, 가슴, 갈색 머리

Komiya Kaho,
빨간 머리, 긴 머리, 빨간 눈, 웃는 표정, 입 벌린 채, 앞머리, 관람자 보기, 1명의 소녀, 단독, 애호지, 자켓, 치마, 다수의 소녀, 셔츠, 들고 있는 상태, 반바지, 갈색 머리, 야외, 눈 사이 머리, 장갑

Tanaka Mamimi,
보라색 머리, 보라색 눈, 앞머리, 대각선 앞머리, 관람자 보기, 보석, 1명의 소녀, 두 개의 끝머리, 단독, 귀걸이, 긴 머리, 웃는 표정, 손톱 연마제, 들고 있는 상태, 셔츠, 치마, 케로크, 입 벌린 채, 가슴, 자켓

Yukoku Kiriko,
긴 머리, 회색 머리, 보라색 눈, 앞머리, 관람자 보기, 두 개의 끝머리, 드레스, 웃는 표정, 1명의 소녀, 단독, 다수의 소녀, 입 벌린 채, 긴 소매, 들고 있는 상태, 프릴, 갈색 머리, 가슴, 셔츠, 검은 머리, 밴드에이드

Mitsumine Yuika,
검은 머리, 긴 머리, 웃는 표정, 관람자 보기, 1명의 소녀, 파란 눈, 단독, 두 개의 끝머리, 안경, 입 벌린 채, 모자, 자켓, 갈색 머리, 치마, 앞머리, 보석, 들고 있는 상태, 야외, 다수의 소녀, 셔츠

Sonoda Chiyoko,
갈색 머리, 관람자 보기, 두 개의 끝머리, 1명의 소녀, 단독, 빨간 눈, 웃는 표정, 앞머리, 머리 뭉치, 이중 뭉치, 들고 있는 상태, 치마, 음식, 긴 머리, 입 벌린 채, 다수의 소녀, 보석, 셔츠, 가슴, 한쪽 눈 감김

Serizawa Asahi,
파란 눈, 짧은 머리, 1명의 소녀, 앞머리, 관람자 보기, 회색 머리, 단독, 입 벌린 채, 야외, 웃는 표정, 자켓, 셔츠, 치마, 반바지, 긴 소매, 보석, 신발, 하늘, 들고 있는 상태, 갈색 머리

Shirase Sakuya,
검은 머리, 긴 머리, 노란 눈, 웃는 표정, 앞머리, 가슴, 보석, 뒤로 묶은 머리, 눈 사이 머리, 큰 가슴, 관람자 보기, 1명의 소녀, 단독, 고개 뒤로 묶은 머리, 흉상 노출, 귀걸이, 다수의 소녀, 자켓, 입 벌린 채, 목걸이

Izumi Mei,
긴 머리, 금발 머리, 갈색 머리, 다색 머리, 그라데이션 머리, 지라, 검은 눈, 가슴, 관람자 보기, 보석, 1명의 소녀, 귀걸이, 큰 가슴, 단독, 웃는 표정, 탄색 피부, 흉상 노출, 자켓, 어두운 피부, 다수의 소녀

Mayuzumi Fuyuko,
검은 머리, 긴 머리, 앞머리, 관람자 보기, 갈색 눈, 뚜렷한 앞머리, 웃는 표정, 1명의 소녀, 치마, 단독, 양옆 올린 머리, 입 벌린 채, 셔츠, 보석, 가슴, 긴 소매, 다수의 소녀, 다색 머리, 들고 있는 상태, 앉아 있는 자세

Asakura Toru,
짧은 머리, 관람자 보기, 1명의 소녀, 단독, 보석, 다색 머리, 그라데이션 머리, 앞머리, 파란 머리, 귀걸이, 애호지, 갈색 머리, 야외, 자켓, 머리 장식, 네덜란드 각도, 파란 눈, 드레스, 다수의 소녀, 웃는 표정

Higuchi Madoka,
짧은 머리, 눈 아래 멜로, 멜로, 갈색 머리, 보라색 눈, 머리 장식, 머리핀, 1명의 소녀, 단독, 관람자 보기, 앞머리, 치마, 자켓, 긴 소매, 야외, 다수의 소녀, 검은 머리, 셔츠, 손톱 연마제, 네덜란드 각도

Ichikawa Hinana,
갈색 머리, 관람자 보기, 갈색 눈, 긴 머리, 앞머리, 1명의 소녀, 단독, 치마, 입 벌린 채, 머리 뭉치, 웃는 표정, 리본, 네덜란드 각도, 나뉘어진 앞머리, 머리 리본, 드레스, 보석, 머리 장식, 단일 머리 뭉치, 셔츠

Fukumaru Koito,
검은 머리, 보라색 눈, 두 개의 끝머리, 1명의 소녀, 관람자 보기, 단독, 잇몸이 드러난 이빨, 입 벌린 채, 피부 이빨, 치마, 머리 장식, 리본, 셔츠, 실내, 짧은 머리, 네덜란드 각도, 머리 리본, 긴 소매, 다수의 소녀, 갈색 머리

Nanakusa Nichika,
관람자 보기, 1명의 소녀, 갈색 머리, 녹색 머리, 단독, 짧은 머리, 웃는 표정, 앞머리, 갈색 눈, 다수의 소녀, 긴 머리, 보석, 입 벌린 채, 자켓, 셔츠, 야외, 들고 있는 상태, 귀걸이, 장갑, 드레스

Aketa Mikoto,
다색 머리, 갈색 머리, 그라데이션 머리, 보석, 관람자 보기, 자켓, 1명의 소녀, 금발 머리, 웃는 표정, 귀걸이, 갈색 눈, 단독, 다수의 소녀, 2명의 소녀, 장갑, 손톱 연마제, 녹색 머리, 셔츠, 드레스, 가슴

Ikaruga Luca,
1명의 소녀, 다색 머리, 검은 머리, 노란 눈, 관람자 보기, 단독, 금발 머리, 앞머리, 치마, 줄무늬 머리, 복부 노출, 컷트 탑, 마이너스 톤 머리, 중간 길이의 머리, 자켓, 장갑, 셔츠, 포식 넷, 가슴, 어깨 드러냄

추가로, Cinderella Girls 프롬프트도 대부분 잘 작동합니다.

학습 정보

학습 데이터셋:

• 샤니마스DB에서 수집한 996장의 샤이니 컬러즈 카드

0.35 기준으로 SmilingWolf/wd-v1-4-convnextv2-tagger-v2를 사용하여 태그 생성. 균형 조절 및 태그 정리 없음. 프로듀스 카드와 서포트 카드 구분 없음.

2022년 논문 a 2022 paper을 영감으로, 사용자 지정 학습률 스케줄러를 적용:

SequentialLR(optimizer, [
    LinearLR(optimizer, 0.1, total_iters=steps_per_epoch),
    CosineAnnealingWarmRestarts(optimizer, steps_per_epoch*2, T_mult=2)
], [steps_per_epoch])

학습 비용: 약 12 T4시간 (deresute 비용 외)

데이터 분포:

            character  cards
1       Sakuragi Mano     52
2        Kazano Hiori     49
3    Hachimiya Meguru     47
4         Osaki Tenka     46
5        Morino Rinze     45
6     Tsukioka Kogane     44
7   Arisugawa Natsuha     44
8    Kuwayama Chiyuki     44
9         Osaki Amana     43
10         Saijo Juri     43
11        Komiya Kaho     43
12      Tanaka Mamimi     42
13      Yukoku Kiriko     42
14    Mitsumine Yuika     40
15     Sonoda Chiyoko     40
16     Serizawa Asahi     39
17     Shirase Sakuya     38
18          Izumi Mei     35
19    Mayuzumi Fuyuko     34
20       Asakura Toru     28
21     Higuchi Madoka     28
22    Ichikawa Hinana     26
23     Fukumaru Koito     25
24   Nanakusa Nichika     23
25       Aketa Mikoto     22
26       Ikaruga Luca      4

학습 설정 (v2.0):

[model_arguments]
v2 = false
v_parameterization = false
pretrained_model_name_or_path = "animefull-final-pruned.ckpt"

[additional_network_arguments]
no_metadata = false
network_module = "lycoris.kohya"
network_dim = 16
network_alpha = 1
network_args = [ "conv_dim=0", "algo=loha",]
network_train_unet_only = false
network_train_text_encoder_only = false
cache_latents = false

[optimizer_arguments]
optimizer_type = "AdamW8bit"
learning_rate = 0.001
max_grad_norm = 1.0
lr_scheduler = "custom"

[dataset_arguments]
debug_dataset = false
# 배치 크기: 4 x 2
# 해상도: 640

[training_arguments]
output_name = "shinymas-v2.0"
save_precision = "fp16"
save_every_n_epochs = 1
max_token_length = 225
mem_eff_attn = false
xformers = true
max_train_epochs = 31
max_data_loader_n_workers = 0
persistent_data_loader_workers = false
gradient_checkpointing = false
gradient_accumulation_steps = 1
mixed_precision = "fp16"
clip_skip = 2
log_prefix = "shinymas-v2.0"
lowram = true

[sample_prompt_arguments]

[saving_arguments]
save_model_as = "safetensors"

v2.1은 v2.0을 기반으로 해상도를 768로 상향 조정하고, 배치 크기와 학습률을 절반으로 줄여 튜닝되었습니다.