mono_to_color_skin_helper_lora

※このLoRAは早期の実験段階の作品であり、他の手法よりも優れているとは限りません。
場合によっては、ControlNetのような手法の方が便利なこともあります。

■このLoRAは、特に漫画の白黒画像のカラー化をサポートしています。

Kontextには既にカラー化の機能がありますが、肌の色調を正確に再現することが時々難しい場合があります——このLoRAはそれを改善するのに役立ちます。

著作権で保護された作品はサンプルに使用できないため、私が自ら作成した白黒AI生成画像を使用しました。

実際の漫画は解像度が低く、レイアウトが複雑で、平塗りの線画であることが多いため、変換がより難しくなります。AI生成画像と比べると、結果が満足いくものにならないこともあります。

複雑なケースでは、フレームを分割して1枚ずつ集中して処理することで、作業を簡素化し、混乱を減らし、検出と変換の精度を向上させることができます。

■Kontextをお使いでない場合は、以下のURLの手順に従ってインストールしてみてください。

ドキュメントが充実しており、セットアップも簡単です。

■以下のプロンプトをベースとして、ご自身がイメージする最終的な結果に合うよう、さらに洗練させてみてください。

これは私もLoRAのトレーニング中に使用したキャプションです。

共有ワークフローには、私が考案した複数のプロンプトバリエーションを含めています。

「この白黒画像をカラー画像に変換してください。」

このプロンプトは、フィギュア、2.5D、Unreal Engine、リアルスタイルなどのスタイル変更にも有効です。
さまざまなスタイルを自由に試してみてください。

■ただし、このLoRAは万能ではありません。

ベースモデルと比較して、純粋なカラーリングに特化しており、平面的な仕上がりになることが多いです。

ベース画像が平面的で詳細が不足している場合、LoRAも同様に平面的な結果を返す傾向があります。

シェーディングやテクスチャがすでに存在する画像の方が、良い結果を得られやすいです。

理想的なカラースキームを自動的に適用する機能はありません。

ただし、「リアルなテクスチャに変換する」のようなプロンプトを用いることで、平面的なスタイルを調整し、奥行きを加えることができます。

効果が弱く感じられる場合は、一度LoRAをオフにしてみてください。平面的バイアスが干渉している可能性があります。

重みを調整することで、より良いテクスチャのバランスを見つけられるかもしれません。

金髪の髪の毛がより多く出現する傾向があります。

これは、グレースケール画像における高明度領域が金髪と解釈されていること、およびLoRAのデータセットの分布に由来する可能性があります。

■このLoRAはAI Toolkitを使ってトレーニングしました。

トレーニングに興味がある方は、以下のURLで開発者が提供しているチュートリアルをご覧ください——ぜひ試してみてください！

思いのほか簡単にできると感じるでしょう。

■データセットの詳細：
このチュートリアルに従い、150枚のカラー2Dイラスト画像を使ってLoRAをトレーニングしました。

■この150枚のカラー画像は、最終的な編集完了結果を表すターゲット側として使用しました。

上記のトレーニング用プロンプトを、すべての画像に適用しました。

■カラー画像は画像編集ソフトウェアで白黒に変換し、コントロール側として使用しました。

データセットは主に肌の色調に焦点を当てていますが、多様性を確保するためさまざまなシーンを含んでいます。

ほとんどの画像は自然な肌色ですが、一部は白、黒、赤、青の肌を含んでいます。

トレーニングで使用したキャプションは詳細を記述しないシンプルなものであったため、特定の色や結果を正確に誘導するのは難しく、期待と異なる結果になることもあります。

トレーニングに使用したキャプションは重要です。

Kontextで既に良い結果を得られているプロンプトを、トレーニング用キャプションとして使用するのが最適です。

プロンプトベースの改善に限界を感じたとき、それらをLoRAのキャプションとして活用すると、良い出発点になります。

■データセットとキャプションはやや限定的であり、これは低労力の実験でした。場合によっては、このLoRAは不要であったり、逆に悪影響を及ぼすこともあります。

■余談ですが、キャラクターの外観に影響を与える他のLoRAの中には、私のものと同様の結果を出すものもあるかもしれません。
他の人が作成したLoRAを探してみることで、より良い結果を得られる可能性があります。