Manual of Section 剖面手册 XL

これは『剖面手册』スタイルの断面パース図を生成するための微調整モデルです。線画風の断面パース図を描く際のインスピレーション源として使用できます（実際にはあまり役に立たないですが…）。

トレーニングデータは『剖面手册』（Paul Lewis、Marc Tsurumaki、David J. Lewis. Manual of Section）から取得しています。

KohakuXL Zetaを基盤とし、従来のLoRA、LoHa、LoKrの3つの方法で微調整しました。この3つのモデルにはそれぞれ長所があり、ユーザーが自由に選択できます。注目すべき点として、従来のLoRAは162MB、LoHaは畳み込み層の学習を追加したため337MB、一方LoKrは優れたアルゴリズムによりわずか21.9MBです。私はLoKrモデルの使用を推奨します。

使用時は自然言語のプロンプトを推奨します。「architecture, a section perspective drawing of a…」で始めるのが良いでしょう。以下に例を示します：

architecture, a section perspective drawing of a house with a roof and a porch area with a table and chairs and a bench, David Chipperfield, archdaily, modernism 

architecture, a section perspective drawing of a building with a lot of windows and a lot of people walking around it and a lot of windows, David Chipperfield, isometric view, modular constructivism

architecture, a section perspective drawing of a building with a lot of stairs and a lot of windows on the side of it, Enguerrand Quarton, isometric view, modular constructivism

ControlNetと組み合わせて、独自の断面線画を入力し、xinsirのunion_promaxを使用することで、canny/lineart/anime_lineart/mlsdモードまたはhed/pidi/scribble/tedモードを適用し、『剖面手册』スタイルの断面図を生成できます。以下にいくつかの例を示します（サンプル画像は私の自身の課程設計から引用しています。不備をご容赦ください）：

例1 ControlNetに入力する画像：

出力：

例2 ControlNetに入力する画像：

出力：

例3 ControlNetに入力する画像：

出力：

このモデルの欠点はプロンプトに対する感度が低く、家具や背景要素をプロンプトで正確に生成するのが難しい点です。これはトレーニング時のラベル付けが不完全だったためであり、『剖面手册』の図は抽象的でラベル付けが難しいという性質があります。

---

v2バージョン更新：3つのモデル（Kohaku版、Pony版、Juggernaut版）を提供：

主な変更点は、トレーニングデータをJoyCaptionで再ラベル付けし、他のベースモデルを試したことです。また、現在はトリガーワードは不要になりました。

最も推奨するのはJuggernaut版です。 以前は、線画風断面パースのスタイルがアニメ風に近いと考え、アニメ大規模モデルをベースに使用していました。しかし、実際にはリアルなスタイルのモデルの方が適していることがわかりました。おそらく、アニメモデルは過剰にスタイル化されすぎており、この用途には不向きだからです。

注意： このバージョンはベースモデルをJuggernautに変更してトレーニングしています。したがって、画像生成時にはJuggernautを使用しなければなりません。Kohakuは使用できません。

トレーニングデータを更新することで、人物や家具がピクセル化してぼやける問題を改善しました。（現在も若干ぼやけることはありますが、以前のように連続した線が離散的なピクセルの塊に分解されるようなぼやけではなく、単なる解像度不足によるぼやけです。）

総じて、より良い表現が得られるようになりました。

Kohaku版：

トレーニングデータを更新し、KohakuXL Zeta上で再学習しました。画像生成の品質は改善されていますが、実際の生成精度はJuggernaut版よりも劣ります。

Pony版：

トレーニングデータを更新し、PonyXL上で再学習しました。このバージョンは、通常、角張った明確な断面図を生成し、精度は高いですが、プロンプトの忠実度が低く、Kohaku版やJuggernaut版ほどの創造性はありません。