SDXL - Asphalt Potholes

내 거리의 몇 장의 사진을 찍었는데, 아마도 예상하셨겠지만 완벽한 상태였다. 이것에 몇 장의 AI 생성 이미지를 섞어 보니 완성됐다. 하지만 이 때문에 이웃들에게 어이없는 설명을 해야 했다: 내가 그런 사진을 찍은 건 골목길의 함몰된 도로를 시청에 불평하기 위함이 아니라고 말이다.

LoRA의 크기 또한 테스트해보고 싶었던 점이었다. 나는 Kohya의 리사이징 기능을 전에 써본 적 없었고, 너무 큰(약 800MB) LoRA를 다운로드해버렸다. 그래서 이를 리사이징해보기로 했다. 네트워크 랭크를 32로 설정하면 파일 크기가 200MB가 될 것이라 생각했지만, 실제 파일은 단지 25MB 정도였다. 처음엔 좀 의심스러웠지만, 동일한 프롬프트와 시드로 테스트해보니 거의 차이가 없었다. 점점 커지는 체크포인트와 LoRA 수집품을 고려할 때, 이 방법은 저장 공간을 절약하는 데 도움이 될 수 있다. 불행히도 타인이 만든 LoRA에는 이 작업을 적용할 수 없다. 파일의 해시 ID가 바뀌기 때문에 크로스포스트가 되지 않기 때문이다(게다가 이미 크로스포스트는 거의 행운에 의존하는 수준이다).

처음부터 더 작은 LoRA를 훈련할 수도 있지만, 일부 설정은 랭크가 너무 낮으면 작동하지 않거나 훈련 자체가 불가능해진다.

파일 크기의 문제는 오래전부터 알고 있었고, 파일 크기가 항상 중요한 건 아니라는 것도 알았다. 심지어 텍스처얼 인버전도 5~25KB밖에 안 되지만 엄청난 영향을 미친다. 하지만 이건 데이터셋의 크기와 복잡도에 따라 달라질 것이다.

• 이 LoRA 없이도 일부 모델에서 동일한 프롬프트를 사용하면 같은 결과를 얻을 수 있지만, 나는 다양한 관점에서의 포트홀 깊이와 새 아스팔트의 진한 검은 색과 오래된 풍화된 아스팔트의 대비에 더 초점을 맞췄다.

• 과적합되었다. 사진이 꽤 많았고, 모델은 즉시 개념을 학습했다. 보통은 데이터셋 크기에 따라 몇 백 스텝마다 모델을 저장했지만, 이전에 더 복잡한 모델을 테스트하던 중, 매번 새 파일이 생성될 때 이전 파일을 덮어쓰도록 설정해 놓아서, 스텝이 적은 파일들을 모두 잃어버렸다. 즉, 이 LoRA는 프롬프트를 지나치게 압도할 수 있다는 뜻이다. 낮은 강도나 긴/설명적인 프롬프트를 사용하는 것이 권장된다.

• 이끼는 단지 내가 예쁘다고 생각해서 사용한 것이지, 이를 위해 훈련된 것이 아니다. 하지만 일부 사진에 잡초가 있었다는 점에서, AI가 나머지를 자동으로 처리한 것 같다(사진 속 녹색 요소는 설명이 없다면 무엇을 의미하는지 알 수 없다).