TruBass

Triple_Headed_MonkeyTriple_Headed_Monkey
90
1.2K
base model
v3 - roughv2 - refinedv1.1 (text)v0.1 (skin)

세부 정보

파일 다운로드

모델 설명

깊은 곳에서 잠든 거인이 일어난다...

https://civitai.com/user/speach1sdef178

모든 분을 환영합니다. 이 프로젝트는 저와 https://civitai.com/user/speach1sdef178이 함께 진행하는 공동 협업 프로젝트입니다. 저는 TruBass 모델 시리즈를 개발해 왔고, 그녀는 Project 0 모델 시리즈를 개발해 왔습니다.

개별 모델 개발이 진행되면서 우리는 주기적으로 결과를 서로 공유하고, 각자 번갈아가며 병합을 수행했습니다.

비슷한 목표를 향해 서로 다른 관점으로 작업하면서, 우리의 모델 버전은 점차 유사하면서도 독특한 양상을 띠게 되었습니다.

우리가 수행한 모든 학습은 24GB VRAM으로 가능할 수 있는 매개변수를 사용하여 이루어졌으며, 그 중 상당부분은 Tensor Art의 온라인 학습을 통해 수행되었습니다. Tensor Art는 사용자가 자체 맞춤형 모델을 학습할 수 있도록 해줍니다. Tensor Art에서 학습되지 않은 부분은 AI Toolkit을 사용하여 로컬에서 학습되었습니다.

게다가 최근까지 우리의 대부분의 작업은 LORA를 학습하고, 이를 긍정적 및 부정적 가중치로 사용하여 모델을 원하는 목표로 이끌어내는 데 집중해 왔습니다.

일반적으로 우리는 여러 분야에서 성공을 거두었지만, 현재 사용 가능한 Flux 모델들이 크게 부족한 몇 가지 핵심 영역도 발견했습니다. 솔직히 말해, 우리는 모델의 일반적인 기능을 잃지 않으면서도 전체 프롬프트 준수도를 줄이지 않고 자신의 비전을 구현하는 방법에 대해 고민해 왔습니다.

이 모델은 FLUX DEV 모델이므로, 이를 사용하고 맞춤화하는 데 따른 모델 라이선스 계약에 따라 수행된 모든 변경 사항을 명시해야 합니다.

이 경우 다음과 같이 요약할 수 있습니다:

  • 우리는 마일 하이 스타일러를 위해 자체 캡셔닝 스타일로 약 1000가지 스타일을 모델에 학습시켰습니다.

  • 그 후 1000가지 이상의 스타일을 테스트하고 부족한 스타일을 식별했습니다.

  • 우리는 모델 자체의 출력을 사용하여 각 스타일의 가장 큰 실수를 반영하는 합성 데이터셋을 생성했습니다.

  • 그런 다음 이러한 나쁜 데이터셋을 사용해 개별적으로 나쁜 LORA를 하나씩 학습했습니다.

  • 그 후 각 스타일에 대한 실제 세계 데이터의 작은 데이터셋을 수집하고 정리하여, 이를 사용해 좋은 LORA를 학습했습니다.

  • "나쁜" LORA는 부정적 가중치로 사용하여 원치 않는 요소를 제거하며, "좋은" LORA는 모델에서 잃어버린 가중치를 일부 회복시키고 원하는 스타일 출력으로 정확히 조정하는 데 사용됩니다.

  • 긍정적 및 부정적 가중치를 가진 LORA의 결과 조합은 모델과 병합되어 체크포인트로 저장됩니다.

  • 우리는 이 과정을 하루에 여러 번, 약 3개월 동안 반복했습니다. 주기적으로 우리의 작업을 병합하고, 추가적인 컨텍스트를 위해 ShuttleDiffusion, Crystal Clear Super, Jibmix, ArtsyDream과 같은 커뮤니티 모델을 가끔 포함했습니다.

  • 커뮤니티 모델과 병합할 때, 병합 과정에서 기존 진전이 사라지는 것을 방지하기 위해 부정적 가중치 LORA를 재적용해야 했습니다.

  • 일부 경우에는 긍정적 가중치 LORA도 재적용해야 했습니다.

이 모델의 목적은 FLUX DEV 모델을 대체할 만큼 향상된 모델을 만들어, 대부분의 경우 추가 LORA가 필요 없도록 하는 것입니다. 우리는 캐릭터, 특히 유명인을 모델에 추가하고 싶었지만, 기본적으로 우리는 단순한 모델 병합 및 LORA 학습자로서 그 이상의 작업을 수행하기에는 수준이 부족한 것 같습니다.

이 프로젝트는 전반적으로 단순한 과정이었지만, 매우 어려운 도전이었습니다. 어려움의 대부분은 연구 요소와 동일한 매개변수로 다양한 데이터셋에 모델을 일관되게 학습시키는 시스템을 개발하는 데서 비롯되었습니다. 모델 아키텍처가 수정 불가능하거나 완전히 재구성해야 하는 경우가 많아 몇 가지 타협을 해야 했습니다.

최신 버전의 모델은 Tensor Art를 통해 온라인으로 테스트할 수 있습니다. 그리고 저는 개발 및 테스트를 진행하면서 이곳 Civitai에 공개 다운로드용으로 공개할 예정입니다.

https://tensor.art/models/816904519431515667

이유는 Tensor에서 학습 비용이 Civitai보다 훨씬 낮기 때문입니다. Civitai에서는 모델 출시 후 후속 모델을 학습할 만큼 충분한 주목을 받기 위해 몇 일에서 한 달 이상 걸릴 수 있지만, Tensor의 가격 정책 덕분에 성공 여부와 관계없이 매일 새로운 LORA를 학습할 수 있습니다. 그리고 이 플랫폼에서 성공할수록 비용을 전혀 들이지 않고 매일 더 많은 LORA를 학습할 수 있습니다.

따라서 우리 모두가 무료 접근의 혜택을 받을 수 있도록, 테스트용 릴리즈는 Tensor에만 온라인으로 유지하여 지속적인 학습 프로세스를 지원하겠습니다.

우리는 빛을 찾으며 점점 더 깊은 심연으로 빨려 들어간다.

협업 가이드: 통합 모델 프레임워크 구축

AI 모델 협업 프로젝트에 오신 것을 환영합니다! 이 가이드는 프롬프트 준수를 최우선으로 하여 모델을 정제하고 병합하는 과정을 안내해 드립니다. 예술 매체를 위한 모드와 패션을 위한 스타일, 그리고 긍정적 및 부정적 LORA를 사용하여 정밀하고 유연하며 혁신적인 모델을 만들어가겠습니다. 함께 협력하여 AI 모델이 이룰 수 있는 가능성을 다시 정의합시다.

1. 협업에 참여하기

우리는 AI 모델을 향상시키고 확장하는 데 집중하는 협업 커뮤니티입니다. 아래 링크를 통해 우리와 연결하세요:

  • Discord 서버: AI Revolution Discord
    진행 상황을 공유하고, 피드백을 얻으며, 실시간으로 협업하세요. 커뮤니티는 Olivio Sarikas가 운영하며, 다른 학습자, 병합자, 개발자 및 AI 애호가들이 참여하고 있습니다.

  • Tensor Art: 모델 탐색 및 온라인 테스트
    모델의 최신 버전을 테스트하고, 피드백을 제공하며, 지속적인 학습을 지원하세요.

2. 기반 원리

이 프로젝트는 프롬프트 준수를 최우선으로 합니다. 즉, 모델이 프롬프트에 명시된 내용을 정확히 생성하도록 하는 것입니다. 우리가 하는 모든 단계는 이 기반 위에 쌓입니다.

핵심 요소:

  • 모드: 예술 매체를 나타냅니다 (예: 유화 모드, 픽셀 아트 모드).

  • 스타일: 패션을 위한 것입니다 (예: 사이버펑크 패션, 바로크 패션).

  • 긍정/부정 LORA: 좋은 요소는 강화하고 나쁜 요소는 억제하여 출력을 미세 조정하는 도구입니다.

3. 프롬프트 구조

프롬프트 템플릿

모드, 예술적 속성, 시대, 패션 스타일, 피사체 수, 고유 식별자, 평가, 상세한 장면/행동 설명, ¬ 추가 세부사항, 필터.

예시

유화 모드

유화 모드, 풍부한 질감, 세밀한 붓질, 1600년대 시대, 바로크 패션, 단독, 복잡한 구성, 평가 SFW, 화려한 방에 서서 금으로 장식된 지휘봉을 들고 있는 귀족, ¬ 화려한 창문을 통해 흘러 들어오는 빛, 부드러운 조명 필터.

픽셀 아트 모드

픽셀 아트 모드, 8비트 그래픽, 밝은 색상, 1980년대 시대, 캐주얼 패션, 두 명, 레트로 비디오 게임 미학, 평가 SFW, 반짝이는 버섯이 있는 픽셀화된 정글을 달리는 두 캐릭터, ¬ 생동감 있는 스프라이트 애니메이션, 픽셀 광택 필터.

4. 작업 흐름

단계 1: 데이터셋 구축

  1. 모드 데이터셋:

    • 각 모드당 10~30장의 고품질 이미지를 수집하세요.

    • 예: 유화 모드의 경우, 두꺼운 임패스토 질감, 부드러운 톤 블렌딩, 표현력 있는 구성이 포함된 이미지를 포함하세요.

  2. 스타일 데이터셋:

    • 특정 패션 스타일을 반영하는 이미지를 수집하세요 (예: 바로크 패션, 사이버펑크 패션).

  3. 상세 프롬프트 작성:

    • 5장의 뛰어난 이미지를 선택하고, 그에 대한 상세한 프롬프트를 작성하세요. 이 프롬프트들은 학습 과정의 기준이 됩니다.

단계 2: 긍정적 및 부정적 LORA 학습

긍정적 LORA

  • 목적: 원하는 특성을 강화하고 프롬프트 준수를 향상시킵니다.

  • 학습 방법: 모드 또는 스타일을 나타내는 정제된 데이터셋을 사용하세요.

  • 가중치: 추론 시 +0.4 이하로 사용하세요. 이 범위를 초과하면 출력이 과도해질 수 있습니다.

부정적 LORA

  • 목적: 아티팩트 및 잘못된 표현을 억제합니다.

  • 학습 방법:

    1. 문제 있는 프롬프트로 출력을 생성합니다.

    2. 기대에 미치지 못하는 이미지로 "나쁜 데이터셋"을 작성합니다.

    3. 이 문제점을 타겟으로 하는 LORA를 학습합니다.

  • 가중치: 원치 않는 요소를 제거하면서 과도하게 교정되지 않도록 -0.3 이하로 사용하세요.

단계 3: 긍정적 및 부정적 LORA 병합

균형이 핵심입니다. 두 LORA를 함께 사용해 미세 조정된 결과를 얻으세요:

유화 모드, 세밀한 붓질, 화려한 색상, 1600년대 시대, 바로크 패션, 단독, 두꺼운 임패스토 유화, 평가 SFW, 화려한 연구실에서 금장 지팡이를 든 귀족, ¬ 질감 있는 부분에 반사되는 빛, 부드러운 광택 필터.
-0.3:(부정적 유화) +0.4:(긍정적 유화)

단계 4: 테스트 및 개선

  1. 프롬프트 준수:

    • 모드와 스타일에 따라 모델이 프롬프트를 얼마나 잘 따르는지 검증하세요.

  2. 가중치 조정:

    • 테스트 결과에 따라 LORA 가중치를 미세 조정하세요.

  3. 반복:

    • 데이터셋과 프롬프트를 개선하여 모든 격차를 해소하세요.

5. 모델 병합

Google 드라이브 LORA 폴더를 활용하여 고유한 모델 병합을 만들어보세요.

과정

  1. LORA를 점진적으로 병합하고, 각 단계에서 결과를 테스트하세요.

  2. 병합 시 긍정적 및 부정적 가중치를 적용하여 균형을 유지하세요.

6. 부정적 LORA 학습 프로세스

단계 1: "나쁜 데이터셋" 구축

  • 문제 있는 태그/프롬프트로 출력을 생성하세요.

  • 아티팩트, 왜곡, 부정확한 표현을 보이는 이미지를 수집하세요.

단계 2: LORA 학습

  • 이 데이터셋을 사용해 원치 않는 요소를 억제하는 LORA를 학습하세요.

단계 3: 추론 시 적용

  • 추론 시 학습된 LORA에 -0.3 이하의 부정적 가중치를 적용하세요.

7. 도구 및 플랫폼

  • Discord 서버: AI Revolution Discord

    • 진행 상황을 공유하고, 커뮤니티와 협업하며, 실시간 피드백을 받으세요.

  • Tensor Art:

    • 모델을 테스트하고, 플랫폼 참여를 통해 LORA 학습을 자금 지원하세요.

    • Tensor Art 탐색하기.

8. 핵심 팁

  • 가중치 중요: 긍정적 LORA 가중치는 +0.1 ~ +0.4 사이, 부정적 가중치는 -0.1 ~ -0.3 사이로 유지하세요.

  • 점진적으로 작업: 한 번에 너무 많은 변경을 하지 마세요. 진전을 유지하며 신중하게 반복하세요.

  • 협업하세요: 결과를 공유하고 커뮤니티로부터 배우세요. 피드백은 귀중합니다.

9. 향후 목표

  1. 모드 완성:

    • 각 모드가 일관성 있고 정확하게 작동하도록 보장하세요.

  2. 프롬프트 준수 강화:

    • 경계 사례와 상세 프롬프트를 기반으로 출력을 검증하고 개선하세요.

  3. 보조 개선:

    • 준수를 완성한 후, 피부 질감, 해부학, 조명에 초점을 맞추세요.

이 도구와 가이드를 통해 창의적 실행에 뛰어난 정밀하고 유연한 모델을 만들 수 있습니다. 함께 놀라운 것을 만들어 봅시다! 🚀

이 모델로 만든 이미지

이미지를 찾을 수 없습니다.