See-through body | Experimental

v2.4

@Foredev さんのヒントのおかげで、多くの実験を実施する資金を得られました。このバージョンは、ようやくv1よりも気に入る結果を生み出すようになりましたが、皆さんの使用における比較フィードバックを聞きたく思います。

顔の表情などの特定の特徴をフル強度でプロンプトすると、透過効果が打ち消されてしまうことがあります。プロンプトの重みを下げて（例："(smile:0.7)"）すると、両方の概念の間でうまく補間された結果を得られます。

v2.3

モデルの改善を試みましたが、うまくいきませんでした。このバージョンは古いアーティファクトの一部が減っていますが、効果の生成が不安定です。こんなに多くのリソースを無駄なモデルのトレーニングに費やしているなら、その中の一つを皆さんに試してもらうのも悪くないでしょう。もしかしたら、あなたには何か役立つ使い道が見つかるかもしれません。

v1 - Large

v1 - Normalと同じデータセットですが、LoRAのサイズが2倍です。結果は有望に見えますが、フィードバックをお待ちしています。

v1 - Normal（推奨）

強化されたデータセットにより、結果は改善されています。しかし、依然として強いスタイルの影響があり、アニメ風に傾斜してしまいます。また、背景が過学習しやすいです。効果は、背景が繰り返しパターン（石壁、コンクリートの道など）であるか、被写体を横切る要素（窓、縁など）を含むときに最もよく機能します。このタグは当初意図されていませんでしたが、"see-through body"と一緒に"see-through head"を追加すると、頭部の透過性が改善されることがあります。

ネガティブプロンプトに"see-through clothes"を追加すると、より透明なガールスタイルを得られます。"tattoo"をネガティブに追加することで、いくつかの問題も解決できます。

v0

概念実証：これは合成画像と変更された画像で概念をトレーニングするための概念実証です。初期のデータセットは非常に小さく、結果のモデルは過学習していますが、概念理解の兆候が見られます。

方法の説明

v0とv1は、被写体と背景を別々に生成し、画像編集ソフトウェアを使って半透明の被写体を背景に合成した、完全に合成されたデータでトレーニングされました。

このアプローチには明らかな欠点があります。つまり、2つの要素が十分に統合されていないことです。では、背景の視点に合わせて全身の被写体を正しく配置するにはどうすればよいでしょうか？私の解決策は、お気に入りのツールであるラインアートControlNetを使うことでした。

初期プロンプトは：

1girl, standing, full body, turning around, looking back, long blonde hair, red jacket, blue jeans, park, grass, bench, concrete path, masterpiece, best quality, amazing detail, high definition

これを被写体単体用に以下のように変更できます：

1girl, standing, full body, turning around, looking back, long blonde hair, red jacket, blue jeans, simple background, masterpiece, best quality, amazing detail, high definition

また、背景用のプロンプトは：

no humans, park, grass, bench, concrete path, masterpiece, best quality, amazing detail, high definition

シンプルな背景を使えば、被写体のマスク処理がはるかに簡単になります。その後、完全に詳細な背景の上に透明な被写体を重ねることができます。"see-through body"の概念を理解できないモデルであっても、このような合成トレーニングデータを作成することで、それを学習させることができました。かなり素晴らしいですね！

この前は、このアプローチが有効かどうかまったくわかりませんでした。結果は非常に素晴らしいとは言えませんが、予想以上に良いものでした。