Waving (Frame helper LORA experiment)

좋은 아가씨, 나를 그리워했지?

돈을 주지 않더라도 최소한 네 모든 버즈를 나에게 줘.

Ko-fi: https://ko-fi.com/keyennorman

안녕하세요. 제 머신러닝 여정 동안 여러 번 상당히 두려운 저항에 부딪혔습니다. 주로 AI의 더 재미있는 측면에 접근하기 위한 기술적 요구사항 때문이었죠. 이 LORAs의 목적(곧 더 많은 것이 될 것이라 기대합니다)은 평범한 기술력을 가진 저와 같은 사람들이 고급 하드웨어 요구사항을 충족하지 않고도 간단한 GIF와 포즈를 만들어보려 시도하고, 성공할 수 있도록 돕는 것입니다.

제 경우:

• 300/300 픽셀 이상의 포즈에 ControlNet을 실행할 수 없습니다.
• 애니메이티드 디프와 모션 모델로 초당 2프레임에서 4프레임을 생성할 수 없습니다.
• 3개 또는 4개의 LORAs를 동시에 실행할 수 없습니다.

따라서 이 개념은 3개의 LORAs로 구성됩니다:

1. waveslightleft
2. waveleft
3. wavefarleft

이 LORAs 각각은 손을 흔드는 한 프레임 또는 단계를 나타냅니다. 현재 왼손만 지원되지만, 제가 파악하기로는 AI는 신경 쓰지 않는 것 같습니다. 한 손을 흔든 후 원할 때마다 다른 손을 흔들 수도 있죠.

전반적으로 약간의 수작업만으로도 동일하거나 더 나은 결과를 얻을 수 있습니다. 단계는 다음과 같아야 합니다:

단계 1: 시작할 단계 선택하기

마치 아무거나 상관없지만, img2img와 어느 정도 잘 어울릴 가능성이 높기 때문에 보통 "waveleft"로 시작하는 것을 추천합니다.

단계 2: img2img를 사용해 흔드는 동작을 진화시키기

이제 생성 과정입니다. 모든 LORAs를 사용하여 원하는 이미지를 생성하세요.

단계 3: 원하는 모든 이미지를 편집 소프트웨어로 합치기

원하는 만큼 프레임을 추가할 수 있습니다. 이제 몇 가지 전제 조건을 살펴볼 시간입니다:

1. 가중치는 변동합니다. img2img의 경우 0.40 정도로 낮게 설정하는 것이 좋고, 일반 생성의 경우 원하는 단계를 0.6–0.8로 시작하세요. 가중치는 사용하는 모델에 따라 달라집니다.
2. 약간 왼쪽으로 설정하면 이미지의 조명이 바뀔 수 있습니다. 왜 그런지는 모르겠지만, 베이킹과 관련이 있을 수 있습니다.
3. 도움이 되는 태그들: ((왼쪽으로 흔들기 또는 아주 왼쪽으로 흔들기 또는 약간 왼쪽으로 흔들기)), 한 손 들기, 흔들기, 5개의 손가락
4. 캐릭터나 스타일 LORAs와의 호환성에 어려움을 겪을 수 있습니다.
5. 활성화 태그:
   waveleft = "waving left"
   waveslightleft = "waving slightly left"
   wavefarleft = "waving far left"

이 LORAs의 목적은 하드웨어 제약을 가진 사람들이 30분을 기다리며 품질이 떨어지는 결과를 얻는 대신, 프레임 단위로 동영상을 만들 수 있도록 돕는 것입니다. 크기가 조금이라도 크다면, 요즘 사람들이 하는 144MB 같은 것보다는 훨씬 나은 수준이라고 생각해 주세요. 아마도 이걸 하나의 LORA로 압축할 수 있었겠지만, 테스트 목적과 제가 그 방법을 정확히 모르기 때문에 현재는 분리되어 있습니다. 향후 더 많은 작업을 할 때 해결해 볼 수 있을 것입니다.