RayVietii-A
세부 정보
파일 다운로드
모델 설명
PixAI 사용자는 아래 링크를 통해 내 PixAI 프로필에 업로드된 이 모델을 사용할 수 있습니다:
https://pixai.art/@rayvietii/artworks/models
🌟 이 모델은 제 인스타그램 아트워크를 기반으로 제작되었으며, "아트 스타일"을 확인하려면: https://www.instagram.com/ray_vietii
이 모델은 형태와 손 부분에서 약점이 있지만, 제 스타일입니다. 스타일 전이가 완벽합니다. 시간이 지나면서 개선할 예정입니다. 음성 프롬프트에 noise background를 추가해 보세요.
추론 매개변수:
스텝: 최소 8 이상
CFG: 5 추천
샘플러: Euler, Euler a, DDIM 선호
음성 프롬프트(선택): noise background
시도해 보세요! https://pixai.art/model/1910312952549111802
🤔 잠시 되돌아보면,
DRm은 실제로 제 실험 대상이었고, SD1.5 아키텍처 및 일반적인 SD에 익숙해지기 위한 입문용 모델이었습니다. DRm은 이 여정의 기초입니다.
반면, Papermae는 제 "아트 스타일" 모델로 기대되었지만 실패했습니다.
더 기술적인 내용에 관심이 있는 분들을 위해 이 정보가 도움이 되길 바랍니다.
이 모델은 노이즈 스케줄러를 사용하며, 이를 HSC(Hard-Skip Clamping)라고 부릅니다. HSC는 순방향 프로세스 전용 노이즈 스케줄러로, 제안한 HSC는 DDPM과 유사한 노이즈 스케줄러입니다. 하지만 HSC는 xT에서 100% 순수 노이즈를 사용하는 대신 약 90%까지 노이즈를 유지하고, 원신호의 10%를 그대로 보존합니다. HSC는 DDPM이 Min-SNR-gamma와 관계를 맺은 것과 유사하다고 볼 수 있습니다. 4스텝의 품질은 최고가 아니며, "이 정도 낮은 스텝에서도 일관성 있는 이미지를 생성할 수 있다"는 의미에 가깝습니다. 좋은 이미지를 얻으려면 최소 8스텝 이상을 사용하는 것이 권장됩니다.
사용한 학습 매개변수:
반복 횟수: 15
에포크: 10
UNet 학습률: 1.6e-4
텍스트 인코더 학습률: 6e-5
학습률 스케줄러: 4회 재시작이 있는 코사인
학습률 웜업: 0
Min-SNR-gamma: 0 (죄송합니다, T Hang 등 여러분, 실망시키네요🤣🙏)
네트워크 dim과 alpha 비율: 1:1 (즉, alpha = dim)
=======================
노이즈 스케줄러 설정:
β 시작 = 0.0003
β 종료 = 0.006016
t = 800
Clip Skip = 1
=======================
기타:
데이터셋 이미지 수: 25
스타일 정규화 수: 4
최소 버킷 해상도: 128
최대 버킷 해상도: 4095
Clip Skip: 2
표준 Ho의 권장 사항(β 시작=0.0001, 종료=0.002, t=1000)을 사용하면 xT=600 근처에서 고노이즈 상태에 도달하며, 이때 원신호의 5% 미만만 남고 나머지는 순수 노이즈로 가득 찹니다.
여러분은 아마 “그럼 왜 t=600을 사용하지 않나요?”라고 물을 수 있습니다. 이유는 모델이 여전히 노이즈를 제거하고 노이즈를 추정하는 방법을 배워야 하기 때문입니다. 제가 설정한 β 종료는 매우 구체적입니다. xT=780에서 순수 노이즈 상태에 도달하며, 나머지 20개 타임스텝은 ‘추정’ 단계입니다.
저는 스타일을 강화하기 위해 is_reg, 즉 스타일 정규화를 활용합니다.
v
제 학습 랩퍼 스크립트에는 하위 폴더를 활용하는 맞춤 매개변수인 "style"이 있습니다. 여기서 style = num_repeat * multiplier이며, 아래 이미지들은 다음과 같습니다:
왼쪽에서 오른쪽:
style: 0.25
style: 0.5
style: 1.0
style: 2.0
정말로 스타일 측면에서 모든 4개가 스타일을 포착했는지 확신할 수는 없습니다. 하지만 다양한 프롬프트로 수많은 테스트를 진행한 결과, 2.0이 일반적으로 가장 우수하다고 결론지었습니다.