LEOSAM's Clothing +/- Adjuster 衣物增/减 LoRA

🖥️친구와 제가 개발한 오픈소스 GPT4V-Image-Captioner를 사용해 보세요. 이 도구는 한 번의 클릭으로 설치가 가능하며, 이미지 사전 압축, 이미지 태그링, 태그 통계 등의 기능이 통합되어 있습니다. 최근 우리는 이 도구의 webui 플러그인 버전도 출시했으며, 누구나 자유롭게 사용하실 수 있습니다!

🌍 QQ 그룹에 참여하세요: "토르순·AIGC 꿈공장 북공장", 그룹 번호: 780132897; "토르순·AIGC 꿈공장 남공장", 그룹 번호: 835297318 (가입 답변: 토르순). Telegram 채널 "토르순의 SDXL 브로드웨이": https://t.me/+KkflmfLTAdwzMzI1

📖이 LoRA는 그려진 대상의 옷의 양을 조절하는 기능성 LoRA입니다. LoRA 가중치를 -1.0에서 +1.0으로 조절하면, 그려진 대상의 옷이 점진적으로 증가합니다.

This is a functional LoRA for adjusting the amount of clothing on the drawn objects. By adjusting the LoRA weight from -1.0 to 1.0, a gradual reduction of the clothing on the drawn objects can be achieved.

커버 이미지와 유사한 GIF를 만드는 방법:

SD 텍스트-이미지 인터페이스 하단의 "스크립트"에서 "XYZ plot" 옵션에 "프롬프트 검색/교체(Prompt S/R)" 기능이 있습니다. 이 기능을 사용하여 LoRA 모델의 가중치를 -1에서 1까지 일정 간격으로 변경할 수 있습니다. 그러면 SD는 동일한 프롬프트 아래에서 LoRA 가중치가 점차 변화하는 일련의 이미지를 생성합니다. 이 이미지들을 얻은 후, FFmpeg 도구나 다른 GIF 제작 도구를 사용하여 이를 애니메이션 GIF로 만드실 수 있습니다.

캐릭터의 포즈를 고정하려면 ControlNet의 OpenPose 기능을 사용하는 것이 좋습니다. 배경까지 고정하려면 Inpaint 기능을 사용해야 합니다.

How to create a gif similar to the cover gif:

In the "XYZ plot" under the "Script" section of the SD interface, there is an option for "Prompt S/R (Prompt search/replacement)". You can use this feature to change the weighting of the Lora model at fixed intervals from -1 to 1. SD can then generate a series of images with the same Prompt and gradually changing Lora weights. After obtaining these images, you can use the FFmpeg toolkit or other GIF creation tools to create animated GIFs from these images.

It is recommended to use the 'OpenPose' feature in ControlNet to fix the character's pose. If you want to further fix the background, you will need to use the 'Inpaint' feature."

“Clothing +/- Adjuster”와 유사한 LoRA를 만드는 방법:

이 모델은 청룡 씨가 이 영상에서 소개한 첫 번째 방법인 “복사 학습법(Copy Learning)”에서 영감을 받았습니다. 저는 여러 장의 이미지를 대상으로 일괄 학습을 구현하기 위해 몇 가지 개선을 했습니다. 구체적인 단계는 다음과 같습니다:

단계 1: 서로 다른 인물의 상태 A와 상태 B를 비교하는 N개의 이미지 쌍을 선택하여 상태 A 이미지 학습셋과 상태 B 이미지 학습셋을 구성합니다. 동일한 인물의 상태 A와 상태 B 이미지의 파일명이 동일해야 합니다.

단계 2: 상태 A 학습셋에 txt 태그를 추가합니다. 각 이미지에는 한 개의 인물을 구분하는 특수 단어 태그만 부여합니다. 예를 들어, 10명의 인물이 있다면 jinitaimei1부터 jinitaimei10까지 각각의 태그를 할당합니다. 그런 다음 상태 A 학습셋의 모든 태그를 상태 B 이미지 학습셋에 복사·붙여넣기합니다.

단계 3: 학습셋의 화풍과 유사한 기본 모델 C를 선택하고 상태 A 이미지 학습셋으로 LoRA 학습을 진행하여 모델이 과적합되도록 합니다. 인물 N의 대응 태그를 입력하면 오직 인물 N의 상태 A 사진만 생성됩니다.

단계 4: 학습을 통해 얻은 과적합된 LoRA 모델을 기본 모델 C에 1.0 비율로 병합합니다 (갱신: 추가 테스트 결과, "same to strength" 옵션을 선택하면 더 좋은 결과를 얻을 수 있습니다). 그런 다음 새로운 기본 모델을 기반으로 상태 B 이미지 학습셋으로 LoRA 학습을 진행합니다. 이 학습은 반드시 심각한 과적합까지 진행할 필요는 없으며, LoRA 학습 과정 파일을 사용해 AI 이미지 생성 테스트를 수행하고, 가중치 조절로 상태 A에서 상태 B로의 전환을 구현할 수 있다면 충분합니다. (갱신: 추가 테스트 결과, 최적값은 이미지당 400~800 스텝 범위 내에 있습니다.)

단계 5: LoRA 학습이 복잡한 장면을 포함하는 경우, 높은 가중치에서 과적합이 발생할 수 있습니다. 이에 대한 두 가지 개선 방안을 제안합니다: 첫째, LoRA 레이어별 조정을 통해 A/B 상태 전환과 무관한 레이어의 가중치를 낮추는 것입니다. 둘째, LoRA의 차원을 압축하는 것입니다. 예를 들어, 64에서 4로 압축합니다.

How to make a LoRA similar to "Clothing +/- Adjuster":

This model is inspired by the first method "Copy Learning" introduced by Qinglong in this video. I made some improvements to implement batch training in the case of multiple images. The specific steps are as follows:

Step 1: Select N groups of comparison images of different characters in State A and State B. Put them into the State A image training set and the State B image training set, respectively. Please ensure that the file names of the two images of State A and State B for the same character are the same.

Step 2: Add txt labels to the State A training set, with each image receiving only one unique word label that distinguishes different characters. For example, if there are 10 characters, assign each character a label from jinitaimei1 to jinitaimei10. Then copy and paste all labels from the State A training set into the State B image training set.

Step 3: Choose a base model C with a similar style to the training set. Use the State A image training set for Lora training until the model overfits.

Step 4: Merge the overfitted LoRA model obtained from training into the base model C at a ratio of 1.0 (Update: After further testing, it will be better to choose same to strength). Then, use the State B image training set for Lora training based on the new base model. This training process does not necessarily need to be trained until severe overfitting occurs; you can choose the LoRA process file for AI drawing tests, as long as the transition from State A to State B can be achieved by adjusting the weight. (Update: 400～800 steps for single pic)

Step 5: If the LoRA training involves complex scenes, overfitting may occur at high weights. There are two suggested improvements: one is to perform layer-by-layer adjustment of LoRA, reducing the weights of layers unrelated to the A/B state switch; the other is to compress the dimensions of LoRA, such as from 64 to 4.

이 LoRA 외에도 제 작품에는 다음이 포함됩니다:

• FilmGirl/필름 스타일 LoRA 모델: 그려진 캐릭터의 현실감을 높이고 싶다면, 이 LoRA는 현재 최고의 선택입니다.

• MoonFilm CheckPoint 모델: Civitai 상에서 피부의 현실감을 가장 잘 구현한 상위 5개 모델 중 하나일 것입니다.

• Pallas's cat/토르순 LoRA 모델: 토르순은 이 세상에서 가장 흥미로운 고양이과 동물입니다. 당신의 GPU 자원을 사랑스러운 고양이에게 바치세요.

• 拍立得/Polaroid LoRA 모델: 포라로이드 사진의 질감을 구현하는 LoRA로, 현재 개선 중입니다.

• EVA『新世纪エヴァンゲリオン』 LoRA 모델: EVA 스타일의 범용 인간형 전투 기계를 생성할 수 있는 LoRA로, EVA 00, EVA 01, EVA 02, EVA 08 모델에 모두 호환됩니다.

In addition to this LoRA, my works also include:

• FilmGirl Film Style Lora Model: If you want to increase the realism of the characters you draw, this Lora is currently the best choice.

• MoonFilm CheckPoint Model: Possibly one of the top 5 most realistic skin models on Civitai.

• Pallas's Cat LoRA Model: Pallas's cat is the most interesting feline in the world. Please dedicate your GPU power to these adorable cats.

• Polaroid Lora Model: A LoRA that achieves the texture of Polaroid photos, currently undergoing further improvements.

• EVA "Neon Genesis Evangelion" LoRA Model: A LoRA that generates EVA-style general-purpose humanoid combat weapons, compatible with EVA 00, EVA 01, EVA 02, and EVA 08 models.