Classic Negative (SD 2.1 768px)

02 Feb 2023

클래식 네거티브 (SD 2.1 768px v0.2)

드디어 SD 2.1 768 해상도를 위한 각색된 원래 클래식 네거티브 모델의 개선된 버전을 학습시켰습니다.

주요 개선점은 더 나은 품질과 정확도를 가진 캡션 및 더 다양한 데이터셋 덕분이며, 원래 버전으로 생성된 몇몇 이미지도 학습에 활용했습니다.

기본 2.1 모델, v0.1, v0.2 버전 간의 비교 사진을 몇 개 첨부했습니다. 기본 모델과 비교 시 광선 조명이 훨씬 향상되었고, 더 매력적인 색조 팔레트, 더 나은 초점 깊이 및 구성이 제공됩니다. v0.1과 비교했을 때 초점 깊이의 자연스러운 흐름이 더욱 개선되었으며, 이미지의 사실성도 약간 더 높아졌습니다. 색상도 제가 원래 의도했던 방향으로 좀 더 근접하게 표현됩니다.

15 Jan 2023

- 업데이트 -

여러 번의 시도 끝에, 제가 1.5 클래식 네거티브 모델에 사용했던 동일한 데이터셋을 기반으로 사용 가능한 2.1 버전을 학습시켜냈습니다. 더 다양한 이미지를 보여드릴 수 있었으면 했지만, 제가 계속해서 귀여운 동물 사진을 하나씩 만들고 있어서 바쁩니다.

• 2:3 비율 이미지의 경우, 1152x768px가 매우 효과적입니다.

• 21:9 비율 이미지의 경우, 1344x576px가 매우 효과적입니다.

모델과 동일한 폴더에 구성 파일(config 파일)을 넣고, 이름이 완전히 동일하게 되어 있는지 확인하세요.

13 Jan 2023

- 원본 게시물 -

이 글을 쓰기 전에 한 마디 덧붙이자면, 제가 정확히 무엇을 하고 있는지 전혀 모른다는 점입니다. 또한 이 모델이 완벽하거나 완전하다는 의미는 전혀 아닙니다. 하지만 여러 번 시도 끝에, 여러분이 시험해 볼 수 있는 몇 장의 이미지와 초기 버전을 공유하는 데 만족할 수 있게 되었습니다.

클래식 네거티브 (SD 1.5)

클래식 네거티브 모델은 제 사진 스타일을 정확히 재현하는 데 초점을 맞춰 DreamBooth를 활용해 학습했습니다. 이 이름은 퓨지필름 카메라에 내장된 카메라 프로파일 "클래식 네거티브(Classic Negative)"에서 유래했습니다. 저는 거의 모든 사진에 해당 프로파일의 개량된 버전을 사용하고 있습니다. 제 스타일을 재현하기 위해 모델은 다음의 요소들을 달성해야 합니다:

• 클래식 네거티브의 색상 프로파일 재현: 탁한 탁한 녹색 (완전한 채도 감소)

• 어:"", 잘리지 않은 블랙과 흩荤된 하이라이트 효과 삽입 (예: 티페른 글리머글라스 필터와 유사)

• 대구경 렌즈에서 나올 법한 자연스러운 초점 깊이 효과 일관되게 생성

• 기본 모델의 구성 개선 (전경 및 배경 물체, 프레임 구성, 시점)

• 기본 모델의 조명 개선

• 롤 필름 복고스러운 감성의 여백 (그레인) 추가, 바람직하게는 약간의 비네팅 효과 포함

• 오래된 35mm 필름 사진의 시각적 느낌 및 분위기 재현 시도

학습

학습에 사용한 이미지는 제 개인 사진 100장으로, 주로 환경 인물 사진과 제 고양이, 일부 매크로 촬영 및 풍경 사진이 포함되어 있습니다. 이 모델은 대부분의 사진을 숲과 정원에서 촬영했기 때문에, 나무와 정원 사진에 대해 편향된 경향이 있는 것 같습니다. 일부 생성된 이미지에서 제 뒷마당의 일반적인 구조가 분명히 노출되는 것으로 보아 과적합의 끝자락에 있을 가능성이 있습니다.

모든 사진에 대한 캡션은 수동으로 작성하였습니다. 복잡하지 않은 형태로, 예를 들면 다음과 같습니다: https://i.imgur.com/prf8VxS.png

TheLastBen의 Fast DreamBooth ipynb를 기반으로, 학습률 1e-5로 1800 스텝, 텍스트 인코더 350 스텝으로 학습을 진행했습니다.

프롬프트 및 파라미터

지금까지 사용한 프롬프트는 매우 간단합니다. 활성화 토큰은 classicnegative입니다.

- classicnegative 정원에 덤불 사이에 앉아 있는 귀여운 고라니 사진, 보라색 튤립 꽃들

- classicnegative 정글의 가지 위에 앉은 작은 빨간 펭귄 사진

- 신기디 운명, 휘몰아치는 눈, 눈꽃이 날리는 정원에 마법불빛으로 밝혀진 흰 털의 토끼 사진

파라미터: Euler A, CFG Scale 7, 30 스텝, 860x360px

다음으로 시드(seed) 탐색 작업을 진행했습니다. 지금까지 4장짜리 배치 중 최소 하나는 사용 가능한 사진이 생성되었습니다. 좋은 결과가 나왔을 경우, 동일한 시드를 설정하고 Hires. fix 기능을 활성화하여 다시 실행했습니다 (제 GTX 1070 기준, 한 장당 약 3.5분 소요).

Hires. fix 파라미터: ESRGAN_4x, 30 스텝, 0.3 디노이징, 2배로 확대

이 설정은 우연히 발견한 것입니다. 그러나 위 설정을 사용하면 이미지가 완전히 동일하게 유지되며, 확대 과정에서도 필름 사진의 특성인 그레인 등의 효과가 손실되지 않습니다.

모델 효과가 지나치게 강할 경우, 프롬프트에 sharp focus, high contrast, clarity와 같은 토큰을 추가해 보세요. 아니면 포스트 프로세싱에서 대비를 늘려도 됩니다. 하지만 네, 때론 과도하게 강해지는 경우도 있으므로, 향후 업데이트 버전에서 이 부분을 다시 검토해봐야 할 것 같습니다.

다음 단계

• 더 많은 테스트 필요 (다양한 파라미터 및 주제)

• SD2.1 768px 버전 제작

• 최적화 및 미세 조정

모델을 자유롭게 사용해 보시고, 한계를 시험해 보시기 바랍니다. 더 나은 버전을 만들 수 있도록 도움이 되는 조언이 있으시다면, 언제든지 알려주세요 ;)