서론

이 모델은 서양 스타일, 특히 만화에 초점을 맞춘 모델입니다. 이 모델의 주요 목적 중 하나는 다양한 스타일과 다양한 얼굴을 생성하는 것이었습니다. 따라서 이 모델은 단일 스타일 생성을 목표로 하는 다른 모델들에 비해 아티스트 이름, 인물, 스타일 등의 요소가 더 강한 영향을 미칩니다. 대부분의 경우 색상은 상대적으로 화려합니다. 이 모델은 여기에서 언급된 모델 평가 테스트를 대부분 통과할 수 있지만, 모델의 ‘기본 스타일’은 일정한 화법 효과와 사실적인 비례를 지닌 일러스트레이션입니다.

샘플 이미지에서는 다른 모델의 데모에서 사용된 일부 프롬프트를 그대로 사용했으며, LoRA는 전혀 사용하지 않고 부정적 프롬프트도 거의 또는 전혀 사용하지 않았습니다. 이렇게 하여 모델이 실제로 무엇을 할 수 있는지 보여주려 했습니다. 또한 모든 이미지는 동일한 시드를 사용해 생성되었으므로 특별히 선별된 결과가 아닙니다.

알아두면 좋은 점

이 모델을 사용하는 방법은 다른 모델과 크게 다르지 않을 수 있지만, 일반적인 프롬프트 외에 이미지 태그는 설명 태그 외에 두 가지 주요 요소를 포함했습니다: “스타일”과 “주제”.

스타일 부분은 아래와 같은 간단한 구조를 따릅니다:

<시대> <장르> <매체> <형식> by <아티스트>

각 구성 요소는 다음과 같습니다:

• 시대: classic, vintage, retro, retro futurism, 40s, 50s, 60s, 70s, 80s, 90s, 2000s, modern

• 장르: fantasy, urban fantasy, medieval fantasy, asian fantasy, medieval, scifi, cyberpunk, steampunk, dieselpunk, solarpunk, samuraipunk, wizardcore, witchcore, noir, art nouveau, pin-up, post-apocalyptic, futuristic, concept art, grotesque, horror

• 매체: oil, airbrush, pencil, watercolor, cell shading, gouache, digital art, acrylic, charcoal, pastels, ink, matte, collage, mosaic, encaustic, pixel art, vector art, acuarela

• 형식: comic, cartoon, graphic novel, animation, storybook, impasto, pseudo-impasto, sketch, drawing, illustration, painting, wax, anime, manga, lineart

• 아티스트: 긴 목록이지만 일부는 다음과 같습니다:

  • 만화: Alan Davis, Jay Anacleto, Jim Lee, Mike Deodato, Jean Giraud, Neal Adams, Mike Mignola, Joe Madureira, Mario Alberti, David Finch, Hubert de Givenchy, Todd McFarlane, Stephan Martinire, Pepe Larraz, Paolo Roversi, Patrice Murciano, Pascal Blanche, Frank Miller, Alex Horley, Krenz Cushart, Hollie Mengert, Andy Kubert, Vittorio Giardino, Stanleylau, Raphael Lacoste, Andreas Rocha, James C. Christensen, Alex Ross, Greg Staples, J Scott Campbell, Todd McFarlane, Akiman, James Daly, Bruce Timm

  • 판타지: Boris Vallejo, Frank Frazetta, Julie Bell, Gerald Brom, Michael Whelan, Keith Parkinson, Tony Sart, Anato Finnstark, Randy Vargas, Diego Gisbert Llorens, Johan Grenier, Bayard Wu, Marc Simonetti, Marc Brunet, Don Bluth, Peter Mohrbacher, Clint Cearley, Magali Villeneuve, Sam Burley, Algenpfleger, JohnoftheNorth, UdonCrew, Yongjae Choi, Shieldmaiden, Wylie Beckert, Jason A. Engle, d1eSELxxxx, Chris Rallis, Stanton Feng, Zezhou, Ed Blinkey, Atey Ghailan, Jeremy Mann, Greg Manchess, Antonio Moro, Dan Mumford, Luis Royo, Viktoria Gavrilenko

  • 공포: Dariusz Zawadzki, H.R. Giger, Anton Semenov

  • 기타: Yoshitama Amano, Masamune Shirow, Greg Rutkowski, artgrem, loish, wlop, nixeu, Kuvshinov Ilya, cutesexyrobutts, Anne Bachelier, Yoji Shinkawa, Akihiko Yoshida, Ross Tran, Tsutomu Nihei, Ed Roth, Andrew Wyeth, Wonkeyman, Larry Rivers, Kinu Nishimura, Ayami Kojima, Masashi Kishimoto, Kaethe Butcher, Hajime Sorayama, Greg Tocchini, Virgil Finlay, Alexis Franklin, Kiko Rodriguez, Georgia O'Keeffe, Alberto Seveso, The Rusted Pixel, Yuko Shimizu

이에 대한 몇 가지 참고사항:

• 모든 구성 요소는 선택 사항이며 필요에 따라 프롬프트에 추가할 수 있습니다.

• 일부 태그는 다른 태그보다 더 강력한 영향을 미칩니다. 원래 더 많은 태그가 있었지만 효과가 너무 약하거나 다른 태그와 혼동되는 경우가 많았습니다.

• 아티스트 스타일은 원래 아티스트의 스타일과 완전히 동일하지는 않지만, 결과의 방향을 통제하는 데 도움이 됩니다.

• 각 요소는 이미지의 다양한 부분(구성, 색상, 매체, 스타일 등)에 영향을 줄 수 있습니다. 이를 사용하여 특정 부분을 강화하거나 다른 방향으로 변경할 수 있습니다. 예를 들어, 만화 스타일의 아티스트와 “comic” 형식을 함께 사용하면 스타일을 강화하지만, “impasto” 매체와 만화 아티스트를 조합하면 혼합된 결과를 얻게 됩니다. 또한 프롬프트가 짧을수록 각 요소의 영향이 더 두드러집니다.

• 매체는 반드시 사실적이지 않을 수 있습니다. 이 모델은 만화/판타지 일러스트레이션 방향으로 강화되었기 때문입니다. 그러나 결과를 해당 스타일에 더 가깝게 이끌 수 있습니다.

• impasto와 pseudo-impasto는 더 판타지적인(덜 만화적인) 결과를 생성하는 데 도움이 됩니다.

주제 부분은 0xJustin의 "Dungeons and Diffusions"에서 사용된 데이터셋을 확장한 것으로, 다양한 아티스트의 만화, 컨셉 아트, 일러스트, 만화 등이 포함되어 있습니다. 스타일 프롬프트와 마찬가지로 주제 프롬프트도 다음과 같은 간단한 구조를 가집니다:

<종족> <성별> <직업>

태그는 다음과 같습니다:

• 종족: oni, aasimar, air_genasi, demon, dragonborn, drow, dwarf, earth_genasi, gnome, elf, firbolg, fire_genasi, goblin, goliath, halfling, human, kobold, lizardfolk, orc, tabaxi, tiefling, warforged, water_genasi

• 직업: artificer, bard, barbarian, berserker, black knight, cleric, cyborg, defender, druid, fighter, knight, lancer, mage, monk, ninja, noble, paladin, rogue, samurai, sorcerer, townsperson, valkyrie, warlock, warrior, wizard

“문화”를 추가해볼 수도 있지만, 자주 다른 태그에 의해 덮어쓰여집니다.

• 문화: Celtic, Nordic, Amazonian, Aztec, Chinese, Japanese, African, Persian, Viking, Indian

성별 옵션은 결과를 인간 중심으로 유도하므로 약간의 운에 의존할 수 있습니다.

테스트용 간단한 프롬프트는 다음과 같은 형태로 작성할 수 있습니다:

<주제>,
<각도>,
<스타일>

여기서 각도는 "upper body" 또는 "portrait" 같은 형태이며, 부정적 프롬프트나 보정(예: "Hires. fix") 없이 시작한 후 점차 확장해 나가는 것이 좋습니다. "Hires. fix"를 사용할 경우 부정적 프롬프트가 더 자주 필요할 수 있습니다.

제가 진행한 대부분의 생성 테스트는 "Hires. fix" 없이 진행했으며, 1.2배 수준으로만 업스케일링해도 시간이 오래 걸리기 때문입니다. 그러나 데모 이미지들은 "Hires. fix"를 사용해 생성되었습니다.

문제점

• 이 모델은 사실적인 사진 이미지나 3D 렌더링을 생성할 수 없습니다(최대한 사실적인 회화 스타일로 표현될 뿐이며), 애니메이션의 경우 색상은 가능하지만 비례가 어렵습니다. 일부 만화 및 애니메이션 스타일이 포함되어 있지만, 특징적인 큰 눈과 얼굴 비례는 보완이 필요하거나 외부 도움(LoRA 등)이 필요합니다.

• 눈 부분에서 문제가 발생할 수 있는데, 이는 학습 과정에서 색상이 있는 공막을 가진 이미지와 작은 얼굴 이미지가 사용되었기 때문입니다.

• 일부 경우에 대화 상자, 만화책 표지(로고 및 텍스트 포함) 및 기타 텍스트를 생성하는 경향이 있습니다.

모델 제작 방법

이 모델의 학습 과정은 다소 복잡했습니다. 2022년 12월 무렵, 당시 이미지 스타일이 목표와 가까웠던 몇 가지 모델을 병합하여 시작되었습니다. 또한 0xJustin의 "Dungeons and Diffusions"에서 사용된 데이터셋을 확장해, 더 다양한 스타일과 만화/게임 스타일을 추가하려 했지만 예상만큼 잘 작동하지 않았습니다. 이후 판타지와 게임/만화 두 개의 별도 모델로 나누어 학습했지만, 역시 기대한 수준에는 미치지 못했습니다. 주요 문제는 서로 다른 스타일이 서로 영향을 주고받아, 원하는 방향으로 나아가지 못했던 것입니다.

시간이 지나며 점점 더 나은 모델들이 등장했고, 제한된 자원으로는 더 이상 진행할 의미가 없다고 판단했습니다. 이후 여러 학습된 모델을 수동으로 레이어 단위로 병합하는 실험을 거쳐, 만화 결과를 생성하면서도 판타지 개념(직업, 종족 등)을 어느 정도 이해하는 조합을 발견했습니다. 이 조합은 구성 문제를 보완하기 위해 잠시 더 학습되었고, 이것이 현재의 모델 버전입니다. 다른 인기 있는 모델만큼 탁월하지는 않을 수 있지만, 시도해볼 만한 가치는 있습니다.