Anti-blur Flux Lora

AntiBlur LoRA가 크게 향상되었습니다!

새 LoRA의 개선사항:

• DoF는 LoRA의 가중치로 조정할 수 있습니다.

가중치 0은 Flux 생성에서 흔한 얕은 DoF를 제공합니다.

기본 가중치 1.0은 스타일과 구성에 큰 변화 없이 DoF를 더 쾌적한 수준으로 줄입니다. 목표는 가중치 1.0에서 DoF가 자연스럽게 보이도록 하는 것이었죠: 여기저기 약간의 좋은 보케만 존재하고, Flux에서 흔히 볼 수 있는 과도한 보케는 없어야 합니다(나중에 더 자세히 설명).

가중치 1.0 이상은 깊은 DoF를 가진 이미지를 생성하는 데 사용할 수 있습니다. LoRA는 품질 저하 없이 최대 3.0 이상의 가중치까지 처리할 수 있습니다.

• 스타일적으로 중립적입니다

데이터셋은 Flux로 생성된 수백 장의 이미지로 구성되어, 원본 모델의 스타일에서 너무 벗어나지 않도록 했습니다. 동시에 몇 장의 실제 사진을 사용하여 Flux가 구성 측면에서 저하되는 것을 방지했습니다(이는 AI가 자신의 이미지로 학습할 때 발생하는 현상입니다).

• Hires. fix와 잘 어울립니다

이 LoRA는 hiresfix와 잘 작동하여 세부사항을 더 향상시키고 얕은 DoF를 최소화할 수 있습니다. 기본 Flux에서는 이런 효과가 없었습니다. 얕은 DoF로 흐릿한 이미지에 hires. fix를 적용해도 여전히 같은 DoF 효과로 흐릿하게 남아있었기 때문입니다. hires.fix가 효과를 발휘하려면 이미지에 일부 세부사항이 먼저 나타나야 합니다.

• 트리거 단어가 필요 없습니다

LoRA를 연결하기만 하면 됩니다.

• 아티팩트가 훨씬 적습니다

Flux로 생성된 이미지를 사용하여 아티팩트를 최소화했습니다. 또한 여러 모델을 학습시킨 뒤, anashel이 제공한 도구를 사용하여 가장 우수한 모델들을 결합했습니다(이 과정은 아티팩트의 원인이 된 개별 모델의 날카로운 경계를 부드럽게 했습니다. 또한 결합은 모델의 스타일적 다양성을 높이는 데 특히 유용했습니다).

이 LoRA가 왜 655MB나 될까요?

기본적으로 "깊은 DoF" 효과만을 제공하는 LoRA는 새로운 스타일이나 개념을 도입하지 않으므로 작아야 한다고 생각했습니다. 단순히 얕은 DoF를 제거하기만 하면 되니까요.

그래서 다양한 LoRA 랭크를 시도해보았으나, 배경 정보가 잠재 공간 전체에 퍼져 있음이 밝혀졌고, 모델이 클수록 더 나은 결과를 도출했습니다. 그래서 최종적으로 128랭크 LoRA를 선택했습니다.

LoRA의 레이어를 분리하여 DoF 정보가 포함된 레이어만 사용할 수는 있지만, 실제로 DoF 정보는 대부분의 레이어에 분산되어 있습니다. 예를 들어, 마크로 촬영을 생성할 때 DoF는 첫 번째 레이어에서 생성됩니다. 배경에 나타나는 정보는 모델 전체에 걸쳐 존재하며, 지속적인 얕은 DoF는 단지 Flux의 학습 데이터가 그렇게 구성되었기 때문입니다. 게다가 Flux는 DoF와 흐림 개념에 대해 SD1.5/SDXL보다 훨씬 나쁜 이해력을 가지고 있습니다. 그래서 얕은 DoF가 SD1.5/SDXL보다 훨씬 많이 발생할 뿐만 아니라, 그 제어력도 훨씬 열악합니다.

이 LoRA는 어떻게 만들었나요

먼저, 포커스 스택링 기법과 깊은 DoF를 사용해 방대한 데이터셋을 구축한 뒤, 그 데이터셋으로 새로운 LoRA를 학습했습니다. 그 다음, 이 LoRA를 사용해 새로운 데이터셋의 이미지를 생성했습니다.

"anti-blur" LoRA의 수백 가지 변형을 만들고, 각각의 장점을 가진 최고의 모델들을 선별해 하나의 균형 잡힌 모델로 통합했습니다.

다음은 무엇인가요?

랭크가 높을수록 품질이 더 좋아지므로, 결과를 개선하는 명백한 방법은 전체 파인튜닝을 수행하는 것입니다(잠재 공간의 배경과 관련된 모든 영역을 직접 수정하게 됩니다). 그런 다음 그 결과에서 LoRA를 추출할 수 있습니다.

또 다른 이론적인 방법은 Flux 잠재 공간에서 "흐림" 또는 "DoF" 개념/가중치를 찾아, 그 가중치를 반전시켜 LoRA를 만드는 것입니다. 그러나 이 방법은 SD 기반 모델의 DoF 제어에는 거의 효과적이지 않았습니다.

현재로서는 결과에 매우 만족합니다. 이 모델은 앞으로 일정 기간 동안 제 최선의 노력이 될 것입니다.