(SDXL & SD 1.5) Simple pointed toe stiletto heels without ankle strap (尖头高跟鞋)

요청에 따라 훈련됨. SDXL에 있어서는 별로 필요하지 않으며, 이미 이와 같은 신발을 생성할 수 있기 때문입니다. 그러나 날카로운 끝이 나는 타입의 하이힐 형태를 일관되게 더 선명하게 표현하기 위한 목적이 있습니다.

SDXL V1.0

• 기반 모델: SDXL 1.0

• 가중치: 0.5-1.0, 애니메이션 체크포인트에서는 더 높은 가중치가 필요할 수 있으며, 최대 1.3까지 가능.

SD 1.5

SD는 음성 프롬프트에 이를 포함해도 계속해서 스트랩이 있는 혹은 플랫폼 힐을 생성하는 것 같습니다. 이 간단한 Lora는 가중치가 0.4 이상일 경우 날카로운 끝의 하이힐에서 발목 끈을 제거하는 데 도움이 될 수 있습니다. 제가 테스트한 결과, 현실적인 체크포인트 모델에서는 0.4-0.8의 가중치가 적당한 결과를 내주는 것으로 나타났습니다.

SD는 항상 음성 프롬프트로도 발목 끈이 있는 하이힐을 생성하지만, 이 라오는 이를 제거하고 신발 형태를 미세하게 조정합니다. 사용 시 가중치를 0.4-0.8 범위로 설정하는 것이 좋으며, 0.4에서 시작하여 서서히 증가시키는 것을 권장합니다. 0.8 이상일 경우 일반화 성능이 떨어지고, 색상이 점점 검정색으로 고정되는 현상이 발생할 수 있습니다. 실사 기반 체크포인트에서는 잘 재현되며, 애니메이션 기반 체크포인트에서도 작동 가능하지만 왜곡의 우려가 있으며, 끈을 제거하기 위해 더 높은 가중치를 설정해야 할 수 있습니다.

다리 자세 생성을 위한 팁:

간단한 다리 자세의 경우, 단순히 프롬프트와 OpenPose만 사용하면 됩니다. 이 라오는 해당 자세를 꽤 잘 생성할 수 있습니다.

보다 복잡한 다리 자세의 경우, 현재의 생성 모델로는 너무 어렵습니다. 보통 변형된 다리와 팔이 생기며, 하이힐의 모양도 이상하게 변형됩니다. 이 문제를 해결하기 위해 ControlNet에서 테두리 감지를 사용하는 것이 좋습니다. Canny, SoftEdge, Scribble 등이 활용 가능하며, 주된 아이디어는 이미지의 윤곽을 이용해 전반적인 자세와 하이힐의 모양을 보존하는 것입니다.

• 먼저 원하는 다리 자세를 보여주는 참조 이미지(하이힐 착용 상태)를 준비하여 ControlNet에 투입합니다.

• ControlNet에서 SoftEdge를 선택하고 이미지에 대한 ControlNet 미리보기 생성 후, 하이힐의 윤곽이 올바르게 감지되었는지 확인합니다. 감지가 부족하다면 Canny를 대신 사용하는 것이 좋습니다. Canny의 윤곽은 SoftEdge보다 더 명확합니다.

• 이후 ControlNet의 가중치를 0.5-1.0 사이로 설정하고 프롬프트를 입력한 후 이미지를 생성합니다. 가중치가 낮을수록 배경이나 옷을 쉽게 변경할 수 있으며, 가중치가 높을수록 자세와 하이힐의 형태가 더 정확하게 표현됩니다.

• 참조 이미지와 비교해 매우 다른 옷을 원할 경우, Scribble을 사용하는 것이 좋습니다. 이는 AI에게 더 많은 창작 공간을 제공하지만, 다른 두 가지보다 하이힐의 형태 표현은 다소 낮은 정확도를 보입니다.

• 만약 세 가지 테두리 감지 방법이 모두 실패할 경우, ControlNet 미리보기를 수동으로 수정하여 윤곽을 더 명확하게 만들어야 합니다. 불필요한 내용은 검은 색으로 가린 후, 원하는 윤곽선은 흰색으로 직접 그립니다. 매우 간단하며, 윈도우 내장 그림 도구로도 충분히 가능합니다.

다리 자세 생성 팁:

간단한 자세는 프롬프트 또는 ControlNet의 OpenPose만 사용해도 되며, 신발 형태가 거의 변형되지 않습니다.

복잡한 자세의 경우 현재 SD 모델로는 활용 가능성은 낮습니다. 자주 다리와 팔이 과도하게 생겨나고, 하이힐 또한 이상한 형태로 변형됩니다. 이 문제를 해결하기 위해 ControlNet의 에지 감지 기능(예: Canny, SoftEdge, Scribble)을 사용하는 것이 좋습니다. 일반적인 형태의 테두리 감지 기능인 Normal, Depth도 사용 가능하지만, 하이힐의 윤곽 감지에서는 앞의 세 가지보다 성능이 떨어집니다.

• 먼저 원하는 자세를 보여주는 하이힐 착용 참조 이미지를 ControlNet에 넣습니다.

• ControlNet에서 SoftEdge를 선택하여 미리보기 생성 후, 하이힐의 윤곽이 정확히 감지되었는지 확인합니다. 감지되지 않으면 Canny를 사용하는 것이 좋습니다. Canny는 SoftEdge보다 더 선명한 선을 제공합니다.

• 이후 ControlNet의 가중치를 0.5-1.0 사이로 설정하고 프롬프트를 입력한 후 이미지를 생성합니다. 가중치가 낮을수록 배경과 옷을 자유롭게 변경하기 용이하며, 가중치가 높을수록 자세 및 하이힐의 형태가 더 정확하게 유지됩니다.

• 참조 이미지와 크게 다른 옷을 원할 경우 Scribble을 사용하는 것이 좋습니다. 이 방법은 AI에게 더 많은 창작 공간을 제공하지만, 하이힐의 형상 유지 능력은 그 외 두 방법보다 다소 떨어집니다.

• 세 가지 에지 감지 방법 모두 원하는 자세를 생성하지 못할 경우, 대부분 참조 이미지의 배경이 너무 복잡하기 때문입니다. 이 경우 ControlNet의 미리보기 이미지를 수동으로 수정하여 불필요한 정보는 검은색으로 덮고, 원하는 윤곽선은 흰색으로 그립니다. 매우 간단하며, 윈도우 내장 그림 프로그램만으로도 충분히 가능합니다.

테스트 결과, 하이힐에 대한 감지 정확도가 가장 뛰어난 것은 SoftEdge이며, 옷 교체 등 다양한 사용에도 적합하기 때문에 우선적으로 SoftEdge를 사용하는 것이 좋습니다.

V2.1

• 정규화 및 훈련 세트 확장

• 네트워크 차원을 128로 설정

• 정규화를 고려해 약간 더 높은 우선 손실 가중치 설정

V2.0

• 훈련 세트를 재구성하고 확장하여 배경 및 얼굴 등 불필요한 요소를 모두 제거했으므로, 가중치가 높을 경우에도 얼굴 등에 오염이 발생하지 않을 것입니다.

• 드림부스 정규화 훈련 세트 추가됨. 신발의 크기와 부착 위치가 이전보다 더 잘 작동함.

• 권장 가중치: 0.3-0.9, 제가 실험한 이미지에서는 0.5-0.6를 사용함.

• 가중치를 낮게 설정하면 다양한 의류 Lora와 호환 가능함.

• 신발 밑면이 위를 향하는 자세에서는 잘 작동하지 않음. 이 문제는 기반 모델의 한계로 보임. 제 모델을 비활성화했을 때도 동일한 문제가 발생하므로, 기반 모델이 이러한 자세에 대해 훈련되지 않았기 때문일 것임.