Potg 🎨 Lumina-Image 2.0

이것은 성공이라 부르기 어렵습니다. 성공할 때도 있고 실패할 때도 있습니다. 가끔 특이한 아티스트의 디지털 노이즈 텍스처가 누락되거나, 비그림 스타일로 전환되는 경우가 있습니다. 꿈 같은 동화책 일러스트레이션 스타일은 잘 구현되었지만, 해부학적 오류가 많습니다. 따라서 사용은 가능하지만 여전히 일종의 실험적 단계입니다. 나중에 다시 학습할 계획인데, 모든 실패는 데이터셋 선택의 부족에서 비롯되었다고 판단합니다.

설명

Potg는 젊은 여성들을 복잡하고 분위기 있는 배경과 결합한 매력적인 작품으로 유명한 일본의 프리랜서 일러스트레이터입니다. 그들의 스타일은 전통적인 일본 미학과 현대적인 디지털 기법을 자연스럽게 융합하여 온기와 매력을 가득 담은 향수 어린 장면을 만들어냅니다.

2024년 5월, 그들은 Hikage Potg Works (ILLUSTRATION MAKING & VISUAL BOOK)이라는 아트북을 출간했는데, 이 책은 과거 작품들과 새로운 일러스트레이션을 수록하고 있습니다.

감성적인 이미지를 통해 potg는 전통과 현대의 독특한 조화로 현대 일본 미술계에 지속적으로 기여하며 관객들을 매료시키고 있습니다.

사용법

LoRA의 트리거 단어는 "Potg style"입니다. 이 단어 없이도 작동할 수 있으나, 포함하는 것을 권장합니다.

이미지는 ComfyUI에서 대부분 기본 설정을 사용하여 생성되었습니다:

shift: 6.0
steps: 40
cfg: 4.0
sampler: gradient_estimation
scheduler: sgm_uniform

학습

111장의 이미지로 학습되었으며, 캡션은 Molmo-7B-O를 사용해 생성했습니다(저는 cyan2k의 4-bit 양자화 버전을 사용했습니다). 캡션 생성 프롬프트는 다음과 같았습니다:

Describe this image as detailed as possible without describing style details.

모든 캡션은 다음 문구로 시작했습니다: "You are an assistant designed to generate high-quality images based on user prompts. Potg style."

학습은 ai-toolkit을 사용하여 수행되었습니다(RTX 3090, Windows 11). 대부분의 학습 하이퍼파라미터는 기본값을 유지했으며, 주요 설정은 다음과 같습니다:

network.linear: 32
network.linear_alpha: 32
optimizer: adamw8bit
optimizer_params.betas: [0.95, 0.98]
optimizer_params.weight_decay: 0.01
lr: 5e-5
noise_offset: 0.1
lr_scheduler: constant

학습은 50,000스텝까지 진행되었고, 몇 번의 테스트 후 42,000스텝의 LoRA 체크포인트를 출판용으로 선택했습니다.