LEOSAM's FilmGirl Ultra 胶片风

🌍 QQ 그룹 "토순·AIGC 드림워크북 제2공장"에 오신 것을 환영합니다. 그룹 번호: 780132897, "토순·AIGC 드림워크남장", 그룹 번호: 835297318 (입장 답변: 토순). Telegram 그룹 채팅 "토순의 SDXL 백 오프 유니버스", 링크: https://t.me/+KkflmfLTAdwzMzI1

🚨 FilmGirl Ultra 최적 설정 파라미터:

Clip skip: 1

CFG scale: 9

직접 출력 이미지 해상도: 약 500,000 픽셀 (640x768)

2024.2.29 "FilmGirl Ultra" 소개: SD1.5의 AI 얼굴과 작별 인사

지난해 2월 24일, 저는 최초의 FilmGirl LoRA 버전을 완성했습니다. 이 LoRA는 제 첫 번째 고다운로드 모델이며, AI에 대한 제 꿈의 시작을 알리는 중요한 모델이었습니다. SDXL이 출시된 이후 저는 HelloWorld HelloWorld 및 AIArt AIArt XL 모델 개선을 위해 많은 노력을 기울였고, FilmGirl 시리즈는 이제 8개월 만에 다시 업데이트되었습니다.

실제로, FilmGirl을 시작으로 이후의 Polaroid LoRA 혹은 Helloworld XL까지, 저는 항상 극한의 사실감을 추구해 왔습니다. 이제 1년이 흘렀고, 그 첫 번째 기념일을 기념해 SD1.5의 사실감을 새로운 고도로 끌어올릴 수 있는 모델을 발표하기로 결정했습니다. 그런 목적에는 더 이상 LoRA 모델만으로는 부족하다고 판단되었고, 새로운 FilmGirl Ultra는 SD1.5 기준 모델입니다.

SD1.5의 실제 감각 모델의 동질화 및 AI 얼굴 문제를 완전히 해소하기 위해, FilmGirl Ultra는 basilmix, chilloutmix, 그 후손 모델이 아닌, UCLA에서 새로 공개한 SPIN-Diffusion를 학습 기초 모델로 선택했습니다. SPIN-Diffusion는 pickapic_v2 데이터셋의 승자 이미지를 활용해 자기 대결 미세조정(Self-Play Fine-Tune)을 수행한 SD1.5 기준 모델로, 기존 SD1.5 기초 모델 및 SD1.5 DPO 기초 모델보다 뛰어나고, 큰 미세조정 및 병합으로 만들어진 chilloutmix 같은 모델보다 훨씬 뛰어난 프롬프트 일치 성능을 보입니다.

FilmGirl Ultra의 학습 데이터셋은 HelloWorld XL에서 유래되었습니다. 사실 HelloWorld XL의 최초 버전 역시 이전의 마지막 FilmGirl LoRA 학습 데이터셋을 사용했습니다. 지난 일년 동안 저는 이 데이터셋을 정밀하게 축적하고 선택해왔으며, 지금은 약 10,000장의 이미지가 집합되어 있습니다. FilmGirl Ultra의 학습 과정은 GPT4V 자연어 캡션, GPT4V 태그식 캡션, Blip+Clip 캡션등 다양한 레이블링 방법을 포함했습니다. "1girl", "best quality", "masterpiece"와 같은 일반적으로 사용되는 프롬프트와 호환되도록 하기 위해 일부 이미지에 해당 키워드를 추가하기도 했습니다 (하지만 여전히 "little girl/child girl"와 같은 표현으로 어린 소녀 이미지 효과를 정확하게 트리거할 수 있습니다). 다수의 레이블 세트를 사용한 이유는, 원하는 효과를 발생시킬 확률을 극대화하기 위함입니다. FilmGirl 전통에 따라 영화 스타일에 특별한 주의를 기울였으며, "film grain analog photography" 프롬프트로 그 스타일을 트리거할 수 있습니다.

이 모델은 총 7단계에 걸쳐 학습되었으며, 각 단계마다 다른 배치 크기, 최적화기, 학습률 및 학습 데이터 비율을 사용해 현재의 성과를 달성했습니다. SPIN-Diffusion를 미세 조정하는 것을 원하시는 분께는 총 학습 반복 횟수가 50,000단계를 초과해야 한다고 추천합니다. 실제로 저는 배치 크기를 40~64로 설정하고 약 100,000단계를 학습했습니다.

FilmGirl Ultra의 현실감은 제가 예상했던 것이 훨씬 넘었으며, 이미 SDXL의 이미지 품질에 근접하게 되었습니다. 아래는 이 모델의 Realistic Vision v6 및 epiCPhotoGasm과의 비교입니다. 전자는 현재 Civitai에서 가장 많은 다운로드를 기록한 기초 모델이며, 후자는 제가 오랫동안 가장 사실적인 SD1.5 기초 모델로 여겼습니다. 이 두 개의 뛰어난 기초 모델과 그 제작자들에게 경의를 표합니다.

close-up couple's portrait,African young woman and man,clear skin face,looking at camera,fashion photography,simple background
Negative prompt: watermark,anime,cartoon,open mouth

close-up couple's portrait,African little girl and boy,clear skin face,looking at camera,fashion photography,simple background,
Negative prompt: watermark,anime,cartoon,open mouth,

GPT4V 캡션과 SPIN-Diffusion 기초 모델 덕분에, 모델의 프롬프트 일치 성능이 매우 뛰어납니다. 아래는 여러 개념에 대한 xy 플롯 테스트 결과입니다.

인종 테스트

몸체 형태 테스트

피부 색 테스트

연령 테스트

동물 테스트

하지만 FilmGirl Ultra가 모든 측면에서 앞서는 것은 아닙니다. 처음으로 새로운 시작점에서 출발했기 때문에, 지난 1년간 커뮤니티가 1.5 기초 모델을 지속적으로 최적화하고 개선해오던 흐름을 버렸기 때문입니다. 광범위한 테스트와 비교를 통해, 제가 발견한 점은 이 기초 모델은 커뮤니티의 성숙한 실제감 모델보다 사지 오류율이 높다는 점입니다. 또한 학습 데이터셋 내에 애니메이션 관련 콘텐츠가 부족함으로 인해, ACGN 관련 태그를 포함하는 프롬프트는 출력 결과가 좋지 않다는 점입니다. "digital art", "anime", "cartoon"과 같은 단어 사용은 피하는 것이 좋습니다. 이 두 가지가 FilmGirl Ultra의 현재 주요한 단점입니다.

FilmGirl Ultra는 제가 AI 여정 첫 해의 결산이자, 저를 응원해준 AI 마니아들에게 드리는 선물입니다. 오픈소스 커뮤니티 덕분에 저는 많은 친구들, 추억, 기쁨, 지식을 얻었습니다. 저는 또한 이 커뮤니티에 조금이나마 기여하고 싶습니다. 본 모델을 기반으로 한 모델 훈련이나 합성 작업을 하시는 분들의 많은 참여를 기대합니다. 만약 본 모델이 귀하의 모델 개선에 도움이 된다면, 모델 설명에 언급해 주시기를 바랍니다. FilmGirl Ultra와 SPIN-Diffusion가 더 널리 알려지고 사용되기를 바랍니다.

FilmGirl Ultra는 계속 업데이트될 예정이며, 모두에게 즐거운 사용을 기원합니다!

AI와 함께 계속해서 성장할 수 있기를 바라며, 내년에도 이곳에서 다시 만납시다!

지난해 2월 24일, 저는 첫 번째 버전 FilmGirl LoRA를 완성했습니다. 이 LoRA는 제 첫 번째 고다운로드 모델이며, 제 AI 꿈의 시작을 알리는 중요한 모델입니다. SDXL이 출시된 이후 저는 HelloWorld와 AIArt를 포함한 XL 모델 개선에 큰 노력을 기울였고, FilmGirl 시리즈는 이제 8개월 만에 다시 업데이트됩니다.

실제로, FilmGirl을 시작으로 이후의 Polaroid LoRA나 Helloworld XL까지, 저는 항상 최고의 사실감을 추구했습니다. 이제 1년이 지났고, 그 첫 번째 기념일을 기념해 SD1.5의 사실감을 새롭게 끌어올릴 수 있는 모델을 소개하게 되었습니다. LoRA 모델만으로는 더 이상 이 모든 것을 담기 어렵다고 판단했고, 새롭게 등장한 FilmGirl Ultra는 SD1.5기반 모델입니다.

SD1.5의 사실감 모델에서 나타나는 동질화 및 AI 얼굴 문제를 완전히 해결하기 위해, FilmGirl Ultra는 basilmix, chilloutmix, 혹은 그 후손 모델이 아닌, UCLA에서 최근 공개한 SPIN-Diffusion를 기반 모델로 선택했습니다. SPIN-Diffusion는 pickapic_v2 데이터셋의 승자 이미지를 사용해 자기대결 미세조정(Self-Play Fine-Tune)을 수행한 SD1.5 기반 모델로서, 기존의 SD1.5 기본 모델 및 DPO 기반 모델보다 뛰어나며, Chilloutmix와 같은 대규모 미세조정 및 병합된 모델들보다 훨씬 우수한 프롬프트 일치 성능을 보이고 있습니다.

FilmGirl Ultra의 훈련 데이터셋은 HelloWorld XL에서 유래되었습니다. 사실 HelloWorld XL의 최초 버전 역시 이전 마지막 버전의 FilmGirl LoRA 훈련 데이터셋을 사용한 바 있습니다. 지난 1년 동안 저는 이 훈련 데이터셋을 정교하게 축적하고 선별하여, 현재 약 10,000장의 이미지로 구성되었습니다. FilmGirl Ultra의 전체 훈련 과정에서는 GPT4V 자연어 캡션, GPT4V 태그형 캡션, Blip+Clip 캡션 등의 다양한 태깅 방법을 사용했습니다. "1girl", "best quality", "masterpiece"와 같은 널리 사용되는 키워드와 호환성을 확보하기 위한 정교한 튜닝도 이루어졌으며, 일부 이미지에 이러한 키워드를 추가하였습니다 (하지만 여전히 "little girl", "child girl"와 같은 표현으로 어린 소녀 효과를 정확히 트리거할 수 있습니다). 다수의 레이블 세트를 사용한 이유는, 원하는 효과가 더 높은 확률로 트리거되도록 하기 위함입니다. 또한 FilmGirl 전통처럼 영화적 스타일에 특별한 주의를 기울였으며, "film grain analog photography" 프롬프트를 사용해 이 스타일을 간편하게 트리거할 수 있습니다.

모델은 총 7단계에 걸쳐 훈련되었으며, 각 단계에서 배치 사이즈, 최적화 방법, 학습률, 훈련 세트 비율을 다르게 설정함으로써 현재의 성과를 달성했습니다. SPIN-Diffusion를 미세조정하고자 하는 분들에게는 총 학습 단계 수가 5만 이상이 되기를 추천합니다. 실제로 저는 배치 크기를 40~64로 설정하고 약 10만 단계에 걸쳐 학습하였습니다.

FilmGirl Ultra의 사실감은 제 기대를 훨씬 초월했으며, 이미 SDXL의 이미지 품질과 거의 근접하게 되었습니다. 아래 그림은 이 모델과 현재 Civitai에서 가장 많은 다운로드를 기록한 몇 가지 기초 모델의 비교입니다 — Realistic Vision v6, 그리고 제가 오랫동안 가장 사실감 있는 SD1.5 기초 모델로 여겨온 epiCPhotoGasm. 이 뛰어난 기초 모델들과 그 제작자들에게 경의를 표합니다.

또한 GPT4V 캡션과 SPIN-Diffusion 기초 모델 덕분에 모델의 프롬프트 일치 성능이 매우 뛰어납니다.

하지만 FilmGirl Ultra는 모든 측면에서 뛰어나지는 않습니다. 새로운 출발점에서 만들어졌고, 지난 1년간 커뮤니티가 지속적으로 1.5 기초 모델을 최적화해온 노력을 포기했기 때문입니다. 광범위한 테스트와 비교로 밝혀진 점은, 이 기초 모델의 사지 오류 발생률이 커뮤니티의 성숙한 현실 감각 모델보다 높다는 점입니다. 또한 훈련 데이터셋에 애니메이션 관련 콘텐츠가 부족한 탓에, ACGN과 관련된 태그를 포함한 프롬프트를 사용할 경우 출력 품질이 좋지 않다는 점입니다. "digital art", "anime", "cartoon" 등의 단어는 사용을 피하는 것이 좋습니다. 이 두 가지가 FilmGirl Ultra의 현재 가장 큰 단점입니다.

FilmGirl Ultra는 저의 AI 여정 첫 해의 산물이며, 저를 지지해 주신 AI 애호가 분들에게 드리는 선물입니다. 오픈소스 커뮤니티는 저에게 많은 친구들, 기억, 즐거움, 그리고 지식을 안겨주었고, 저는 저의 작은 기여를 통해 커뮤니티에 보답하고 싶습니다. 본 모델 제작 과정의 정보가 누구에게나 도움이 되길 바라며, 누구든지 FilmGirl Ultra를 기반으로 모델 훈련이나 로드맵 합성을 해주시기를 기대합니다. 본 모델과 훈련 기초 모델인 SPIN-Diffusion는 모두 Apache-2.0 라이선스를 따릅니다. 무단 사용 시 법적 책임이 따를 수 있으니 주의하시기 바랍니다. 만약 본 모델이 귀하의 모델 개선에 도움이 되셨다면, 모델 설명에 이를 언급해 주시기를 부탁드립니다. FilmGirl Ultra와 SPIN-Diffusion가 더 널리 알려지고 사용되기를 바랍니다.

FilmGirl Ultra는 앞으로도 지속적으로 업데이트될 예정이며, 모두에게 즐거운 사용을 기원합니다!

AI와 함께 계속해서 나아가는 것, 그리고 내년 이맘때 다시 이곳에서 만나기를 바랍니다!

저작권 공지:

FilmGirl Ultra 시리즈 모델(이하 "본 모델")은 저(이하 "소유자")가 SPIN-Diffusion를 기반으로 개발한 SD1.5 기반 모델입니다.

소유자는 개인 또는 기관이 본 모델의 출력 이미지에 대해 비상업적 목적(교육 또는 정보 전달)으로 무료 사용할 수 있도록 허가합니다. 다만 다음을 준수해야 합니다:

- 관련 법규를 위반하지 않으며, 본 모델이나 제3자의 합법적 권리를 침해하지 않습니다.

- 이미지를 사용할 경우, "LEOSAM의 FilmGirl Ultra 기반 모델로 생성됨"이라고 출처를 명시해야 합니다.

상업적 사용을 원하시는 경우, 반드시 소유자와 사전에 상업적 사용 계약을 체결해야 합니다. 상업적 라이선스 및 모델 맞춤화와 관련한 문의는 소유자가 Civitai 플랫폼에서 제공하는 정보를 통해 연락해 주시기 바랍니다.

소유자는 개인 사용자에게 FilmGirl Ultra 모델의 업데이트를 무료로 지속적으로 제공하며, 개발자 커뮤니티의 기여자들에게 감사의 마음을 전합니다. 상업적 이용자의 유료 협업은 본 모델의 지속적인 개선과 발전에 중요한 동력이 됩니다. 모든 사용자분들의 이해와 지지에 감사드립니다.

첨부된 모든 정보는 합법적인 사용을 보장하되, 무단 사용은 관련 법률 위반 사항이 되며 법적 책임을 질 수 있음을 알려드립니다. 본 성명의 최종 해석권은 소유자에게 있으며, 관련 법률에 따라 제한됩니다.