お祭りの屋台 / omatsuri

축제의 음식점입니다.

문도에끼신의 역신대제, 처음 신년 기도, 시에도 신사의 에베쓰 신사의 장면 등을 학습시켜 보았습니다.

샘플 프롬프트:

omatsuri, food stand, outdoors, scenery, bag, backpack, power lines, road, street, food, tree, orange (fruit), bare tree, fruit, multiple others, cloud, sky, utility pole, cloudy sky, people, vanishing point, shop, building, photo background, 1girl, multiple boys, city, ambiguous gender, 6+others,

샘플 프롬프트:

omatsuri, food stand, multiple girls, tree, outdoors, bag, hat, skirt, handbag, road, street, walking, multiple boys, scenery, crowd, long skirt, pantyhose, day, long hair, real world location, black skirt, 6+boys, lantern, shirt, 6+girls, backpack, festival, food, photo background, pavement, crosswalk, paper lantern, lamppost, brown hair, white shirt, short hair, holding, sun hat, realistic, photo background, photo (medium), photorealistic

샘플 프롬프트:

omatsuri, food stand, multiple boys, food, shirt, outdoors, scenery, short hair, multiple girls, tree, holding, black hair, apron, day, sandals, 3boys, standing, headband, shorts, brown hair, walking, realistic, photo background, photo (medium), photorealistic

각 버전의 차이 Differences between each version

낮의 음식점 풍경 사진 31장 + 밤의 음식점 풍경 사진 24장에서 DIM128/ALPHA64/Epoch8로 omatsuri_V4.safetensors를 생성했습니다. (※이 페이지의 "V4" 탭에 있는 모델입니다)

omatsuri_V4.safetensors는 31장의 낮의 음식점 풍경 사진 및 24장의 밤의 음식점 풍경 사진에서 DIM128/ALPHA64/Epoch8를 사용하여 생성되었습니다. (*이 페이지의 "V4" 탭에 있는 모델입니다.)

하지만 이 omatsuri_V4를 사용하여 이미지를 생성하면 예시처럼 모델이 가진 그림 스타일이나 색채에 대한 영향이 매우 크게 나타납니다. 저는 이를 해결하고자 sd-webui-lora-block-weight를 사용해 U-net 계층별 출력을 분석했습니다. (*V4 페이지의 예시에 XYZ 플롯 이미지가 있습니다.)

하지만 이 omatsuri_V4로 이미지를 생성하면 예시처럼 모델이 지닌 그림 스타일이나 색채에 대한 영향이 매우 크게 나타납니다. 제가 이를 해결하고자 sd-webui-lora-block-weight를 사용해 U-net 계층별 출력을 분석했습니다. (*V4 페이지의 예시에 XYZ 플롯 이미지가 있습니다.)

U-net 계층별로 다양한 프리셋을 실험한 결과, OUTD (OUTD:0,0,0,0,0,0,0,0,1,1,1,1,0,0,0,0,0 *OUT3,4,5,6만 포함)를 사용하면 학습한 축제 음식점 개념을 어느 정도 유지하면서도 스타일에 대한 영향을 크게 줄일 수 있을 것이라 판단했습니다.

U-net 계층별로 다양한 프리셋을 시도한 결과, OUTD (OUTD:0,0,0,0,0,0,0,0,1,1,1,1,0,0,0,0,0 *OUT3,4,5,6만 포함)를 사용하면 학습한 축제 음식점 개념을 어느 정도 유지하면서도 스타일에 대한 영향을 크게 줄일 수 있을 것이라 판단했습니다.

그러므로 SuperMerger를 사용하여 omatsuri_V4에 OUTD를 적용하고 계층별로 머지한 것이 omatsuri_V4_1.0_OUTD.safetensors가 됩니다.

따라서 SuperMerger를 사용해 omatsuri_V4에 OUTD를 적용하고 계층별로 머지한 것이 omatsuri_V4_1.0_OUTD.safetensors가 됩니다.

이는 sd-webui-lora-block-weight를 사용해 프리셋을 설정하거나 적용하지 않아도 lora:omatsuri_V4_1.0_OUTD:1로 쉽게 사용할 수 있다는 점이 장점입니다.

이 모델의 장점은 sd-webui-lora-block-weight를 사용해 프리셋을 설정하거나 적용하지 않아도 lora:omatsuri_V4_1.0_OUTD:1로 쉽게 사용할 수 있다는 점입니다.

또한 sd-scripts의 리사이즈 스크립트를 사용해 DIM128을 DIM8로 리사이즈한 것이 V4_1.0_OUTD_ResizeDIM8입니다. DIM128의 omatsuri_V4_1.0_OUTD와 비교해 표현력은 감소하지만 LoRA 파일 크기는 크게 작아지고, 모델의 스타일과 색채에 대한 영향도 크게 줄어들게 됩니다. 보시는 예시와 마찬가지로 학습한 축제 음식점 개념은 어느 정도 반영되고 있으므로, 이 모델을 공개해보기로 결정했습니다.