서문

저차원 어댑터는 그 처럼 보이지 않습니다. 안정적인 확산 모델을 위한 파라미터 효율적인 미세 조정 어댑터를 만들 때, 우리는 이미지 생성 프로그램에게 복잡한 최적화 문제를 해결하게 하며, 이는 완전히 새로운 프로그램을 생성합니다.
최적화 문제를 선택하는 과정에는 아직 유용하고 구체적이며 엄격한 규칙이 없어, 원하는 대로 이미지 생성 어댑터(안정적 확산 LoRA)를 생성하기 위한 학습 설정이나 학습 데이터를 선택하는 것이 쉽지 않습니다.

이 문제를 조금 더 쉽게 탐색할 수 있도록 도와드리고자 합니다.

ROTATE-SWORD

학습 데이터 준비:

무언가를 그려보세요. 어떤 것이든 괜찮습니다. 모두 멋집니다. 사용하는 질감의 종류가 출력 어댑터 모델의 행동에 영향을 미치므로, 크레용 같은 질감 대신 페인트 같은 질감을 사용하면 자신의 취향과 창의적 가치를 더 잘 반영할 수 있습니다.

유일한 중요한 제한은 그린 것에 모두 색을 칠하고, 깊이, 반사율, 질감의 패턴 차이를 다른 색으로 표현하는 것입니다.
이미지를 대칭시키고, 4개의 주요 방향과 4개의 대각선 방향으로 각각 회전시켜 학습 데이터를 16배 증가시킵니다.

학습 데이터에는 기계 시각 라벨링 도구를 사용하세요. 기계 시각 전문가가 아닌 한, 이미지 캡션 학습 데이터를 수작업으로 라벨링하는 것은 추천하지 않습니다. 저는 텍스트 분류기조차 미세 조정하기 힘듭니다.

객체 및 배경을 반영하는 태그가 각각의 개별 이미지에 모두 전파되었는지 학습 데이터를 확인하세요. 제 학습 세트에서는 대부분의 이미지가 본래 공유해야 할 태그의 대부분을 놓쳤다는 사실을 발견했습니다!

유효한 태그를 몇 번 복사하여 붙여넣기만 해도 쉽게 수정할 수 있습니다. 컴퓨터에 더 익숙하다면, 쉘 스크립트를 사용해 이 작업을 더 빠르거나 간단하게 할 수 있을 것이라 확신합니다.

학습:

저는 network_dim을 64, network alpha를 64로 설정하고, 학습률은 모든 필드에서 5e-05, 내부 해상도는 768x768(학습 배치 크기를 줄이면 8GB GPU에서도 작동!)을 사용했습니다. ++min_snr_gamma를 5.0으로 설정하고,++ multires noise discount를 0.13로 설정했습니다. 첫 번째 학습 런에서는 5개의 '데이터셋 반복'과 12개의 에포크를 사용했습니다. 학습 시 (반복 × 에포크)의 총합은 대략 50–70이 적절합니다. 어댑터 모델이 학습에 어떻게 반응하는지 관찰하기 쉬우므로, 반복을 전혀 사용하지 않고 60 에포크를 목표로 추천합니다.

++로 표시된 학습 설정은 아마도 위안제일 가능성이 높으며, 최소한 사치스럽습니다. 좋은 학습 결과를 얻기 위해 반드시 모방할 필요는 없습니다.
모든 학습 에포크마다 체크포인트를 저장하고 이미지를 샘플링하세요!

출력 모델:

이 학습 과정이 학습 파라미터를 최적화하지 않고도 약 18분 만에 완료되었고, 수렴된 출력 어댑터 모델을 크게 초과했다고 말했나요?

발견할 수 있는 모든 모델에서 단일 객체, 단일 질감 LoRA를 학습해보세요. SD1.5를 학습하세요. SD2.0을 학습하세요. 좋아하는 모든 사진처럼 생긴 애니메이션 드림부스를 시도해보세요!
간단하고 명확한 최적화 목표를 주고, 제한적이고 구체적인 데이터셋을 통해 안정적 확산 모델 모두가 귀하의 데이터셋에서 흥미로운 것을 배웁니다.

첨부된 파일은 이 정확한 학습 데이터셋과 방법을 사용하여 안정적 확산 1.5, NAI-leak, counterfeit-3 및 제 개인 블록 가중치 병합 모델(contrfeit과 유사하지만 보라색 자국이 더 적음)로 생성된 rotate-sword LoRA입니다.

이 방식으로 학습된 LoRA를 사용할 때는 automatic1111의 웹UI에 lora-ctl 애드온을 사용하는 것을 추천합니다. 귀하의 어댑터 모델이 무한한 흰색 공간이나 추상적 배경을 생성하는 것은 명확한 미적 목표가 아닐 가능성이 큽니다. <lora:loraname:1:[email protected],[email protected],[email protected]> 형태의 lora-ctl 알파 곡선은 이러한 행동을 매우 잘 조절해줍니다.