American Dollar Bills

아메리칸 달러 지폐는 Flux용으로 내가 처음으로 훈련한 LoRA입니다. 이 프로젝트는 $1, $2, $5, $10, $20, $50, $100이라는 주요 지폐 액면가의 앞면과 뒷면을 기반으로 현실적인 아메리칸 지폐 이미지를 생성하는 것을 목표로 하여 제작되었습니다. 이는 좋은 아이디어에서 시작되었지만 불완전한 결과로 끝났습니다. 그러나 학습에 대한 열정과 모델 제작 기술 향상에 대한 갈망 덕분에, 초기 경험 부족에도 불구하고 미래에 무엇을 해야 할지 이해하게 되었습니다...

데이터셋 생성

이미지 검색 및 선택

나는 $1부터 $100까지의 주요 액면가에 해당하는 아메리칸 지폐(앞면과 뒷면) 이미지를 온라인에서 검색했습니다. 다양한 디자인과 맥락을 확보하기 위해 UHD 해상도를 포함한 총 150장의 이미지를 수집했습니다.

리사이징

Birme 웹사이트를 사용하여 모든 이미지를 빠르게 1024x1024 정사각형 형식으로 변환, 리사이징 및 자르기했습니다.

지폐 연구

나는 아메리카인이 아니며 미국에 본 적이 없기 때문에, 각 액면가의 앞면과 뒷면에 나타난 세부 사항에 집중하여 미국 지폐의 디자인을 공부했습니다(심층적으로는 아님).

캡션 생성

나는 Kohya에서 BLIP2를 사용하여 데이터셋의 각 이미지에 자동으로 캡션을 생성했습니다. 그 후 Google 번역을 이용해 모든 캡션을 수동으로 검토하고 정확성을 확인했습니다. 마지막으로 ChatGPT의 도움을 받아 캡션을 최적화하여 더 정확하고 다양하게 만들었습니다(예: “a one-dollar banknote”, “a 1-dollar banknote” 등).

Civitai에서 훈련

나는 Flux Gym보다 간단하고 효율적이라고 판단되어 Civitai 플랫폼을 훈련에 사용하기로 결정했습니다.

그러나 훈련을 완료하고 첫 번째 생성된 이미지로 LoRA를 테스트한 후, 데이터셋에 명확한 불균형이 있다는 것을 알게 되었습니다:

- 이미지의 대부분이 $100 지폐였습니다.

- $10 지폐와 같은 다른 액면가는 완전히 누락되었습니다.

이 불균형은 생성 결과에 명확히 반영되었습니다: LoRA는 일반적인 프롬프트를 사용하더라도 $100 지폐를 생성하는 경향이 있습니다.

데이터셋 분석 및 스크립트 생성

데이터셋 불균형 오류를 이해하기 위해, 간단한 파이썬 스크립트를 작성하여 캡션을 분석했습니다. 이 도구는 yes_word.txt 파일에 정의된 관련 키워드(예: “dollar”, “banknote”, 또는 1, 5, 10, 20 등 액면가)를 검색하고, no_word.txt 파일에 정의된 불필요한 단어(예: 접속사와 전치사)는 무시합니다.

이 스크립트는 다음을 강조하는 보고서를 생성합니다:

- 가장 빈번하게 등장하는 10개의 단어

- 가장 자주 사용된 10개의 숫자

- yes_word.txt 파일에 포함된 모든 키워드를 빈도 및 알파벳 순으로 정렬한 전체 목록

이를 통해 데이터셋이 $100 지폐 이미지가 과도하게 많고, $10 지폐와 같은 일부 액면가는 전혀 누락되어 있다는 것을 확인할 수 있었습니다.

성능 및 관찰

내 테스트에서, 이 LoRA를 단순한 긍정 프롬프트와 함께 사용할 때 유사한 LoRA 없이 생성된 결과보다 현저한 향상이 있었습니다. 예를 들어:

- 텍스처로 적용될 경우, 객체에 더 균일하게 적용되어 정교하고 신뢰할 수 있는 패턴을 생성합니다. 특정 특징(예: 재질 유형 또는 텍스처)을 명시하면, 이 텍스처는 객체 구조에 완벽하게 융합되어 마치 재질 자체의 일부처럼 보입니다.

- 캐릭터에 사용될 경우, 더 세부적이고 현실적인 옷을 생성합니다.

- 전반적으로, 이 LoRA는 현실적인 맥락에서 이미지 품질을 향상시키며, 더 다듬어지고 시각적으로 매력적인 최종 결과를 생성합니다.

마지막 고려사항

아메리칸 달러 지폐는 LoRA 생성 및 훈련 과정에 대해 많은 것을 가르쳐 준 실험이었습니다. 그 한계와 명백한 불균형 오류에도 불구하고, 이는 향후 모델을 개선하는 데 중요한 일보입니다.

주요 장점:

- 텍스처 및 캐릭터 옷에 대해 현실적인 맥락에서 매우 신뢰할 수 있고 세밀한 결과를 생성합니다.

- 객체와 인물 모두에 적용할 수 있습니다.

- 파일 크기는 단 18.3MB입니다.

이 LoRA로 기대할 수 있는 것:

- 아메리칸 지폐의 현실적인 이미지를 생성하도록 설계되었으며, 특히 데이터셋 불균형으로 인해 $100 지폐에 집중합니다.

- ComfyUI에서 최적의 결과를 얻으려면 1~2 사이의 가중치를 사용하세요.

- 지폐와 관련된 좋은 프롬프트(롤된 지폐, 더미, 묶음, 쌓인 지폐 등)를 사용하여 추가 테스트를 진행할 수 있습니다.

개선할 점:

- 향후 더 나은 버전을 위해, 훈련 전에 데이터셋을 균형 있게 구성하여 모든 지폐 액면가를 공정하게 포함해야 합니다.

- 더 경험 많은 사용자의 피드백을 통합하여 훈련 및 분석 과정을 개선해야 합니다.

- 훈련을 시작하기 전에 데이터셋을 분석하는 더 나은 도구를 개발하는 것이 중요합니다.

아메리칸 지폐의 세밀한 이미지를 생성하거나 현실적인 텍스처를 프로젝트에 적용해보고 싶었다면, 아메리칸 달러 지폐를 시도해보세요! 귀하의 피드백은 향후 개발을 개선하는 데 필수적입니다.