생성 제안

SDXL-Simulacrum, Sim-Flux1S 및 Sim-Flux1D에 설정한 훈련 기준에 따르면;

전체 구조는 다음의 조합으로 구성됩니다

• 일반 영어 캡션

• Booru 태그 이전에

- 다양한 모델에 직접 통합하고 재사용 가능한 유틸리티로 사용하기 위함.

Forge에서 SDXL로 일반 LoRA로 로드하면 작동합니다.

Comfy에서 CLIP_L 또는 CLIP_G를 포함하는 모든 모델에 일반 LoRA로 로드하고 해당 CLIP을 통과시키면 작동합니다.

• LIGHT는 SDXL-Simulacrum-V2 및 유사한 SDXL 모델에 가장 적합합니다.

• MEDIUM은 SD3과 같은 파생된 CLIP_L 및 CLIP_G 모델을 비교적 잘 처리합니다.

• POWERFUL은 Pony, Illustrious 및 여러 개의 크게 변경된 모델에서 작동합니다.

이것은 제가 처음 시도한 CLIP LoRA입니다. 그리드에 매우 반응적이고 강력합니다.

---

SDXL-SimV2(즉, Dumb Flux)와 동일한 grid_[[letter]row][[number]column] 개념을 사용하세요;

• grid_a1, grid_c5 등

기능을 더 많이 활성화합니다; 실제로 [ ]를 입력하지 말고 텍스트를 원하는 내용으로 대체하세요.

• 가로 5행, 세로 5열로 구성된 2차원 그리드. 아이콘을 배치할 수 있는 총 25개의 가능한 위치가 있습니다.

• [ 색상 ] 테두리

• [ ... ]로 구성된 5x5 그리드

• [ ... ]로 구성된 3x3 그리드

• 다양한 형태의 그리드

• 그리드 내에 맞는 2차원 아이콘

• [객체 형태] 및 [색상]로 구성된 행

• [객체 형태] 및 [색상]로 구성된 열

부정 옵션 -> 그리드가 낮은 강도에서 지나치게 강할 경우 부정

• grid

• outline

• chaotic grid

• noisy shapes, chaotic shapes

---

약간의 훈련 배경

더 나은 버전을 준비 중입니다. 이미지 수가 훨씬 적은 훨씬 더 우수한 버전입니다. 기대해 주세요.

UNET을 훈련하지 않았기 때문에, CLIP_L 또는 CLIP_G를 가진 모든 모델에 자동으로 작동합니다. UNET 측면에 잔여 데이터나 블록이 저장되어 있다면, 그들은 불필요하다고 확신할 수 있습니다.

직접 실험해 보세요. 낮은 강도에서 전체 이미지가 선택된 이미지에 의해 변경되는 것을 볼 수 있으며, 훈련 시 마스킹을 사용하지 않았기 때문입니다. 이는 의도적으로 모든 요소를 신중하게 희석하여 구조화된 형태와 비구조화된 형태를 모두 생성하도록 설계되었습니다.

훈련 데이터는 간단한 기하학적 그리드 이미지와 노드이며, SDXL-Simulacrum v2 Full을 사용한 Civit 트레이너를 통해 CLIP_L 및 CLIP_G 쌍에 특화된 다양한 그리드 요소 컨트롤러를 훈련했습니다.

이 그리드 개념을 통해 SDXL에 3의 법칙보다 더 큰 규칙을 적용하려고 합니다. 결과는 현재까지 SDXL뿐 아니라 모든 모델에서 희망적입니다. 지금은 SDXL에서 개념 통합을 위해 3보다 7을 더 자주 사용합니다. 현재의 주요 문제는 다중 해상도(MultiRes)로 인해 많은 위치 정보가 파괴된다는 것입니다. 따라서 이는 단지 실험 및 도구일 뿐입니다.

zip 파일에 훈련 데이터를 포함시켰습니다. 이렇게 단순한 것들이 실제로 얼마나 쉽게 만들어지는지 확인하실 수 있습니다.

이 모델을 미세 조정할 경우 멀티레스 노이즈를 절대 사용하지 마세요., 완성된 결과물이 빠르게 화면과의 연결을 잃게 됩니다.

이 데이터로 SDXL-Simulacrum과 같은 완전히 미세 조정된 무거운 모델을 대규모로 훈련하는 것은 작동하지 않습니다.

이러한 모델은 겹쳐진 잔여 효과에는 적합하지만, 핵심 데이터셋에 포함시키기에는 적합하지 않습니다.

이것은 제가 사용하는 태깅 스타일을 조금 엿볼 수 있는 기회입니다. 관심이 있다면 데이터와 캡션 파일을 확인해 보세요. SDXL-Simulacrum이 현재 모습을 갖추게 된 혼란스러운 과정을 조금 엿볼 수 있습니다.

A 2d icon that fits within a grid., A singular 2d icon meant to fill an icon placement within a larger grid with strange shapes., A 2d chaotic icon of random shapes., A singular 2d icon with chaotic shapes with a black border.

A 2d icon that fits within a grid., An empty 2d icon placement with an empty background and a colored border and a black outline within the colored border.

A 2d grid with five horizontal rows and five vertical columns. There is a total of 25 potential positions for icons., There are five different colors of shapes filling the five rows.

A 2d icon that fits within a grid., An empty 2d icon placement with an empty grey  background and a grey border.

저는 CIVIT의 태깅 모델을 사용하여 태그를 적용했습니다. zip 폴더 내 각 캡션 파일에 첨부된 태그는 원본 캡션 데이터보다 약간 다릅니다.

테스트한 많은 모델에서 작동합니다. 이 모델들 중 많은 수가 CLIP에 캐릭터용 그리드 제어 기능이 거의 없거나 전혀 없기 때문입니다.

유일한 실제 문제는 멀티레스(MultiRes)를 사용하여 훈련되었다는 점입니다. 즉, 이 모델을 기반으로 미세 조정할 수 없습니다. 왜냐하면 Simv2 전체가 원본 노이즈로 훈련되었기 때문입니다. SDXL-Sim v2 Full로 멀티레스를 사용해 미세 조정하면 그리드 구조가 파괴됩니다.

2 DIM

128 ALPHA

낮은 차원으로 인해, 이는 이미지 위에 잔여 효과를 겹쳐서 적용한 후 강도가 절반 이하로 떨어지면 빠르게 이를 잊어버립니다. 초기 강화 실험에서 훌륭한 결과입니다.

이것은 여러 모델에서 그리드를 명확히 고정시키는 경향이 있습니다.