CompositionFactor (Experimental)

이것은 출력 이미지의 구도를 개선하기 위한 매우 실험적인 LoRA 시도입니다. 이것이 가능한지 확인하기 위해 제작했습니다.

즉, 구도의 좋고 나쁨은 모델에 따라 달라집니다. 여러 모델을 혼합하면 특징이 평균화되어 지루한 구도가 되거나 할 수도 있습니다. 따라서 이 LoRA는 구도가 좋은 모델에서 U-net의 넓은 영역에 큰 영향을 미치는 계층을 찾아 학습시키는 것으로 시작되었습니다.

그러나 실제로 시도해보니 적용되는 모델에 따라 매우 큰 차이가 있었습니다. LoRA가 만드는 변화가 효과적인 경우도 있지만, 다른 경우에는 거의 효과가 없거나 오히려 역효과를 내기도 합니다. 이미 좋은 구도를 내는 모델의 경우 오히려 방해가 됩니다. LoRA는 구도에 효과적인 계층이 부족하여 효과가 약한 것으로 보입니다. 개념 조작도 시도해보았지만, 모델이 “좋은 구도”라는 개념을 제대로 인식하지 못한다는 문제가 있었습니다. 개념 기반으로 조작해도 일부 변화는 나타나지만, 구도가 크게 변하지는 않습니다. 특정 구도를 생성하려면 프롬프트를 사용할 수 있지만, 일반적으로 좋은 구도를 생성하려면 모델 학습 시점에서 준비가 필요합니다(이2i나 control.net으로 작업하는 사람들은 이 문제와 무관합니다).

이는 매우 실험적인 LoRA로, 출력 이미지의 구도 개선을 시도하는 것입니다. 이것이 가능한지 검증하기 위해 만들어졌습니다.

즉, 구도의 좋고 나쁨은 모델에 따라 달라집니다. 여러 모델을 혼합하면 특징이 평균화되어 지루한 구도가 되거나 할 수도 있습니다. 따라서 이 LoRA는 구도가 좋은 모델에서 U-net의 넓은 영역에 큰 영향을 미치는 계층을 찾아 학습시키는 것으로 시작되었습니다.

그러나 실제로 시도해보니 적용되는 모델에 따라 매우 큰 차이가 있었습니다. LoRA가 만드는 변화가 효과적인 경우도 있지만, 다른 경우에는 거의 효과가 없거나 오히려 역효과를 내기도 합니다. 이미 좋은 구도를 내는 모델의 경우 오히려 방해가 됩니다. LoRA는 구도에 효과적인 계층이 부족하여 효과가 약한 것으로 보입니다. 개념 조작도 시도해보았지만, 모델이 “좋은 구도”라는 개념을 제대로 인식하지 못한다는 문제가 있었습니다. 개념 기반으로 조작해도 일부 변화는 나타나지만, 구도가 크게 변하지는 않습니다. 특정 구도를 생성하려면 프롬프트를 사용할 수 있지만, 일반적으로 좋은 구도를 생성하려면 모델 학습 시점에서 준비가 필요합니다(이2i나 control.net으로 작업하는 사람들은 이 문제와 무관합니다).

그러나 이러한 계층을 조작하면 어느 정도 영향을 줄 수는 있습니다. “좋은 구도”를 만드는 것이라는 가장 큰 문제를 포기하고, 구도를 결정하는 계층에 잡음을 추가하는 LoRA로 재구성했습니다. 이 LoRA를 사용한다고 해서 구도가 반드시 좋아지는 것은 아닙니다. 좋은 구도를 만들어내는 것이 아니라, 이전과 다른 구도를 만들어내기 위한 것입니다. 평범하게 생각하면 미친 짓처럼 들릴 수 있지만, 1로 시도해 보고 안 되면 -1로 시도할 수 있습니다.

구도에 영향을 미치기 때문에 전체 이미지에 영향을 줍니다. 캐릭터에 대한 영향은 억제되었지만, 신체 비율 등에는 어느 정도 영향이 있습니다. 캐릭터의 근접샷 같은 구도에는 거의 효과가 없습니다. LoRA는 이미지의 큰 영역에 대한 영향력이 너무 낮습니다. 풍경처럼 인물이 중간 크기 이하일 때는 어느 정도 효과를 발휘합니다. 모델에 따라 유사한 데이터를 가지고 있어 영향이 약해질 수도 있습니다. 또한 구도만 바뀌는 것이 아니라 여러 요소가 동시에 변화합니다.

실용적으로 보면, 이런 도구를 사용하는 것보다 시드 값을 변경하는 것이 전체 이미지에 더 확실한 영향을 줍니다. 따라서 전체 구도를 바꾸고 싶다면 그쪽이 더 낫습니다. 그러나 시드를 바꿔도 구도가 별로 변하지 않는 모델의 경우 이런 도구가 유용할 수 있습니다.

원본

LoRA: 1.0

LoRA: -1.0

LoRA: 1.3

현재 이 LoRA는 효과가 있는지 확인하기 위한 테스트 버전으로, 임의로 선택한 모델에서 잡음 요소를 구성했습니다. 실질적인 효과를 기대하지는 않습니다. 색상과 캐릭터에 대한 영향을 더 줄이는 것이 과제입니다. 계층을 좀 더 철저히 제한하는 것이 좋습니다.

LoRA: 0.0, 다른 시드 예시

다른 모델 예시

원본

LoRA: 0.5

LoRA: 1.0

LoRA: -0.5

LoRA: -1.0

이 모델에 대해 LoRA 강도를 높이면 구도의 다양성이 증가하는 것을 볼 수 있습니다. 음수 값으로 설정하면 구도가 단조로워집니다. 동시에, 양수 방향은 얼굴 특징을 아시안처럼 만들고, 음수 방향은 유럽인처럼 만들며, 양수 방향은 색상 채도를 증가시키고, 음수 방향은 색상이 흐릿해지는 경향이 있습니다.