Proteus v0.6

Proteus v0.6를 소개하게 되어 기쁩니다. 이는 제 AI 이미지 생성 모델의 완전한 재구성 버전입니다. 이 버전은 리워크의 첫 번째 버전으로, 사진과 같은 사실적인 표현에만 초점을 맞추고 있습니다. 최첨단 수준을 목표로 하지는 않지만, 고품질 이미지를 생성하는 데 있어 좋은 진전이라고 생각합니다. 이 버전은 준비 단계 버전이며, 최종적이고 모든 기능을 갖춘 체크포인트는 아닙니다. 향후 업데이트를 통해 더 많은 개선 사항과 기능이 추가될 예정입니다.

개요

Proteus v0.6은 기초부터 완전히 재구성된 모델입니다. 이전 버전에서는 다양한 학습 방법과 학습률을 결합하면서 대규모 학습 중 모델이 불안정해지는 문제가 발생했습니다. 이러한 경험을 바탕으로, 저는 Proteus 데이터셋의 사진과 같은 사실적인 요소만을 사용하여 모델을 다시 학습시켰습니다.

현재 이 새로운 학습 기법을 **다중 관점 융합(Multi-Perspective Fusion)**이라 부르고 있습니다.

다중 관점 융합

이 접근법은 다음과 같은 내용을 포함합니다:

• 여러 LoRA 및 전체 파라미터 체크포인트 학습: 동일한 데이터셋을 여러 번 학습하여, 데이터의 다양한 "관점"을 포착할 수 있도록 여러 개의 저차원 적응(LoRA) 모듈과 전체 파라미터 체크포인트를 학습했습니다.

• 포괄적 프레임워크 내 통합: 이러한 다양한 모델들을 더 큰 프레임워크 내에서 결합하여 전반적인 성능을 향상시킵니다.

이 방법이 고급 학습 기법을 탐색하는 데이터 과학자들에게 흥미로운 통찰을 제공하기를 기대합니다.

v0.6의 주요 개선점

• 완전한 재구성: 이전 문제를 해결하기 위해 완전히 새롭게 구축되었습니다.

• 향상된 사진적 사실성: 고품질의 사진과 같은 사실적 이미지를 생성하는 데 초점을 맞췄습니다.

• 안정적인 학습 프로세스: 대규모 학습 중 모델이 붕괴되는 문제를 방지하기 위해 학습 방법을 정교하게 개선했습니다.

• 준비 단계 버전: 이는 리워크의 첫 번째 버전입니다. 향후 릴리스에서는 더 많은 기능과 개선 사항이 추가될 예정입니다.

한계점

• 일러스트 또는 애니메이션 불가: 현재 이 모델은 사진적 사실성 데이터만으로 학습되었기 때문에 일러스트나 애니메이션 스타일의 이미지를 생성할 수 없습니다.

• 최첨단 수준 아님: 모델은 잘 작동하지만, 최첨단 수준이라고 주장하지는 않습니다. 단지 좋은 출발점일 뿐입니다.

• 진행 중인 작업: 이는 최종적이고 모든 기능을 갖춘 체크포인트가 아닙니다. 향후 업데이트가 계획되어 있습니다.

사용법

권장 설정

• Clip Skip: 1

• CFG Scale: 7

• Steps: 25 - 50

• Sampler: DPM++ 2M SDE

• Scheduler: Karras

• Resolution: 1024x1024

v0.6 이전 버전

Proteus의 배경

Proteus는 OpenDalleV1.1을 기반으로 하여 보다 정교한 성능을 제공하는 고급 개선 모델입니다. 주요 발전은 프롬프트에 대한 반응성 향상과 창의적 능력의 강화입니다. 이를 달성하기 위해, 저작권이 없는 스톡 이미지(일부 애니메이션 포함)에서 수집한 약 22만 장의 GPTV 캡션 이미지를 사용해 미세 조정하였고, 이를 정규화했습니다. 또한, 1만 쌍의 신중하게 선정된 고품질 AI 생성 이미지 쌍을 통해 DPO(Direct Preference Optimization)를 적용했습니다. 최적의 성능을 위해 여러 개의 LORA(Low-Rank Adaptation) 모델을 독립적으로 학습시킨 후, 동적 적용 방법을 통해 주 모델에 선택적으로 통합했습니다. 이 기법들은 학습 과정에서 모델의 특정 영역만을 타겟팅하고, 다른 영역에는 간섭을 주지 않도록 설계되었습니다. 그 결과, Proteus는 복잡한 얼굴 특징과 생생한 피부 질감을 뛰어나게 표현하면서도, 초현실주의, 애니메이션, 만화 스타일 등 다양한 미학적 영역에서도 뛰어난 성능을 유지합니다.