Perfect Sketchbook 完美草图

完全な偶然で作成しました。これは、モデルに非常に多くのラインアートスタイルのLoRAを適用し、ほとんど壊れてしまうほどまでにしてから、UnetのブロックIN06、IN07、IN08、OUT05、OUT4、OUT3を現実的なモデルのものに置き換えるという実践的な練習になっていると思います。

このモデルは、ある種のスケッチブックのような効果をモデルに与えます。解剖学的に見れば、ある程度リアルなモデルの骨格を持っていますが、まるで鉛筆で描かれたように見えます。私はこれを「Perfect Sketch」と呼びます。なぜなら、実際には「Perfect World」で使用するどんなプロンプトもここに入れて使えるからです。

興味があれば、この仕組みがなぜ機能するのかについて詳しく説明できますが、プロンプト作りにしか関心がない場合は、以下に使用上の推奨事項を記載します。

使用方法

最も効果的なのは、リアルさを意識したプロンプトを使うことです。SketchyAnimeStyleでは特に問題になりませんが、SketchStyleではとても役立ちます。独自のプロンプトを考えるのが面倒な場合は、以下のテキストをプロンプトの前に挿入してください。

(ultra high detail, realistic, best quality, 8k raw, masterpiece)

BREAK

ネガティブプロンプトについては、シンプルに保ちましょう。再度、独自に作成したくない場合、一般的に以下のようなものをおすすめします。

easynegative, (worst quality, low quality:1.4), (monochrome:1.1), watermark

潜在空間アップスケーラーは使用しないでください。2倍以下のアップスケーリングを行う場合は、ノイズ除去値を0.4以下に保ちましょう。

SketchyStyleでは、アップスケーラーを使用する必要があります。そうでなければ顔の細部が正しく再現されないからです。SketchyAnimeStyleではそこまで厳密には必要ありませんが、当然ながらアップスケーリングがあるほうが良いです。

作成プロセス

Huggingface

一般的に、OU03からOUT5、IN8からIN6は顔と体のセグメンテーションを担当しています。ローラを誤って重みを崩してから、解剖学的な構造の不整合を修正しようとした結果、元の動作するモデルの体部分の圧縮・再構成を担当するUnetブロックを置き換えました。これにより、新しいモデルに元のモデルの解剖構造をある程度引き継がせつつ、細部はそのままで維持しています。このアプローチは、スタイルを変えるためにLoRAを適用した後、特定のブロックを元に戻して解剖学的正確さやアート的な構成を回復できる、一般化可能な手法として活用できる可能性があると考えます。ただし、この技術は実験的な性質が強く、さらなる研究が必要です。