alimama-creative/FLUX.1-dev-Controlnet-Inpainting-Alpha

이 저장소는 AlimamaCreative 팀이 공개한 FLUX.1-dev 모델용 Inpainting ControlNet 체크포인트를 제공합니다.

뉴스

🎉 @comfyanonymous 님 덕분에, ComfyUI가 이제 Alimama Inpainting ControlNet을 위한 추론을 지원합니다. 워크플로우는 여기에서 다운로드할 수 있습니다.

ComfyUI 사용 팁:

• t5xxl-FP16 및 flux1-dev-fp8 모델을 사용하여 28단계 추론을 수행할 경우 GPU 메모리 사용량은 27GB입니다. cfg=3.5일 때 추론 시간은 27초이며, cfg=1일 때는 15초입니다. Hyper-FLUX-lora를 사용하면 추론 속도를 높일 수 있습니다.

• 더 나은 결과를 얻기 위해 control-strength, control-end-percent, cfg 파라미터를 조정(낮춤)해 보세요.

• 아래 예제는 control-strength = 0.9 & control-end-percent = 1.0 & cfg = 3.5를 사용했습니다.

입력출력프롬프트이미지는 애니메이션 시리즈 드래곤볼Z의 장면을 묘사하며, 주인공 고크, 엘론 머스크, 그리고 어린 시절의 고판이 라멘을 함께 먹고 있습니다. 모두 식탁 둘레에 앉아 있으며, 고크와 고판은 한쪽에, 나루토는 다른 쪽에 앉아 있습니다. 모두 젓가락을 들고 라멘을 먹고 있으며, 식탁 위에는 라멘 그릇, 컵, 음료 그릇이 놓여 있습니다. 인물들의 배치와 음식의 배열은 친밀감과 식사에 대한 공유된 즐거움을 느끼게 합니다.이 이미지는 카페에서 서 있는 남자를 묘사한 일러스트입니다. 그는 흰색 터틀넥, 커멀색 트렌치코트, 갈색 신발을 입고 있으며, 휴대폰을 들고 그것을 바라보고 있습니다. 그의 오른쪽에는 작은 테이블이 있으며, 그 위에 고양이가 앉아 있습니다. 배경에는 다른 남자가 노트북을 사용하며 테이블에 앉아 있습니다. 그는 검은 터틀넥과 넥타이를 착용하고 있습니다.금발의 여성이 테이블에 앉아 빨간색과 흰색 긴 드레스를 입고 있습니다. 그녀는 오른손에 녹색 휴대폰을 들고 사진을 찍는 듯한 모습입니다. 테이블 옆에는 가방이 놓여 있고, 의자 옆에는 핸드백이 있습니다. 여자는 얼굴에 미소를 지으며 휴대폰을 바라보고 있습니다. 배경에는 왼쪽 벽에 TV가 있고, 오른쪽에 소파가 있으며, 장면에는 의자도 있습니다.이미지는 책을 읽으며 책상에 앉아 있는 아름다운 젊은 여성을 묘사합니다. 그녀는 길고 물결친 갈색 머리를 가지고 있으며, 회색 셔츠에 검은 카디건을 입고 있습니다. 그녀는 왼손에 빨간 연필을 들고 깊이 생각에 잠긴 듯한 표정입니다. 그녀 주변에는 수많은 책들이 있으며, 일부는 책상 위에 쌓여 있고, 다른 일부는 뒤쪽 선반에 정리되어 있습니다. 배경에는 화분에 심은 식물도 보이며, 장면에 녹색을 더해줍니다. 이 이미지는 평온함과 지적 탐구의 분위기를 전달합니다.

모델 카드

• 이 모델은 해상도 768x768에서 1200만 장의 laion2B 및 내부 소스 이미지로 학습되었습니다. 추론은 이 해상도에서 가장 우수한 성능을 발휘하며, 다른 해상도에서는 성능이 떨어집니다.

• 권장되는 controlnet_conditioning_scale은 0.9 ~ 0.95입니다.

• 참고: 이는 학습 중인 알파 버전입니다. 준비가 되면 업데이트된 버전을 공개할 예정입니다.

색인

SDXL-Inpainting과의 비교

SDXL-Inpainting과 비교한 결과입니다.

왼쪽에서 오른쪽: 입력 이미지 | 마스킹된 이미지 | SDXL inpainting | 본 모델

이미지는 책을 읽으며 책상에 앉아 있는 아름다운 젊은 여성을 묘사합니다. 그녀는 길고 물결친 갈색 머리를 가지고 있으며, 회색 셔츠에 검은 카디건을 입고 있습니다. 그녀는 왼손에 연필을 들고 깊이 생각에 잠긴 듯한 표정입니다. 그녀 주변에는 수많은 책들이 있으며, 일부는 책상 위에 쌓여 있고, 다른 일부는 뒤쪽 선반에 정리되어 있습니다. 배경에는 화분에 심은 식물도 보이며, 장면에 녹색을 더해줍니다. 이 이미지는 평온함과 지적 탐구의 분위기를 전달합니다.

금발의 여성이 테이블에 앉아 파란색과 흰색 긴 드레스를 입고 있습니다. 그녀는 오른손에 녹색 휴대폰을 들고 사진을 찍는 듯한 모습입니다. 테이블 옆에는 가방이 놓여 있고, 의자 옆에는 핸드백이 있습니다. 여자는 얼굴에 미소를 지으며 휴대폰을 바라보고 있습니다. 배경에는 왼쪽 벽에 TV가 있고, 오른쪽에 소파가 있으며, 장면에는 의자도 있습니다.

이 이미지는 카페에서 서 있는 남자를 묘사한 일러스트입니다. 그는 흰색 터틀넥, 커멀색 트렌치코트, 갈색 신발을 입고 있으며, 휴대폰을 들고 그것을 바라보고 있습니다. 그의 오른쪽에는 작은 테이블이 있으며, 그 위에 커피 한 잔이 놓여 있습니다. 배경에는 다른 남자가 노트북을 사용하며 테이블에 앉아 있습니다. 그는 검은 터틀넥과 넥타이를 착용하고 있습니다. 배경 테이블 위에는 여러 컵과 케이크가 있습니다. 테이블에 앉은 남자는 노트북을 타이핑하고 있는 것처럼 보입니다.

이미지는 애니메이션 시리즈 드래곤볼Z의 장면을 묘사하며, 주인공 고크, 나루토, 그리고 어린 시절의 고판이 라멘을 함께 먹고 있습니다. 모두 식탁 둘레에 앉아 있으며, 고크와 고판은 한쪽에, 나루토는 다른 쪽에 앉아 있습니다. 모두 젓가락을 들고 라멘을 먹고 있으며, 식탁 위에는 라멘 그릇, 컵, 음료 그릇이 놓여 있습니다. 인물들의 배치와 음식의 배열은 친밀감과 식사에 대한 공유된 즐거움을 느끼게 합니다.

Diffusers와 사용하기

Step1: diffusers 설치

pip install diffusers==0.30.2

Step2: GitHub에서 저장소 클론

git clone https://github.com/alimama-creative/FLUX-Controlnet-Inpainting.git

Step3: image_path, mask_path, prompt를 수정하고 실행

python main.py

라이선스

본 가중치는 FLUX.1 [dev] 비상업 라이선스 하에 제공됩니다.