UndoMask_lora

※このLoRAは初期の実験段階の作品であり、他の手法よりも優れているとは限りません。

再構築品質はそれほど高くありません。これは可能であることを示すための実験としてご理解ください。他のモデルでのインペインティングの方がおそらくより高い精度を達成できます。

■Kontextをご利用になられない方は、以下のURLの手順に従ってインストールをお試しください。

ドキュメントが充実しており、設定も簡単です。

https://docs.comfy.org/tutorials/flux/flux-1-kontext-dev

■Kontextはマスク領域を人工的に再構築します。

Kontextには既にそのようなマスクを検出して修復する機能がありますが、常に完璧に動作するとは限らないため、これを支援するためにこのLoRAが作成されました。

サンプル画像に見られるモザイク、埋め合わせ、線などの検出を改善します。

著作権のある素材を使用できないため、AI生成のフルーツ画像をサンプルとして使用しています。

サンプル画像はマスクが明確で周囲のコンテキストもはっきりしているため検出と再構築が容易ですが、実際のマスク画像はより複雑で対応が難しいことが多いです。

■以下のプロンプトは高精度なマスク検出が可能で、良い出発点になります。

このプロンプトはLoRAの学習時にもキャプションとして使用されました。

画像内のすべての検閲形式（モザイク、ぼかし、黒または白のバー検閲、ピクセル化、埋められた領域、識別検閲など）を検出し、検閲された領域を正確に修復してください。論理的構造と視覚的コンテキストに基づいて、元の検閲されていないコンテンツを忠実に再構築することを優先してください。修復された領域が、検閲されていないバージョンの意図された質感、形状、詳細を維持することを確保してください。

■このままでも良好に動作しますが、ご希望の結果に合わせてプロンプトを調整してみてください。 ただし、プロンプトの調整だけでは検出および再構築品質の向上には限界があります。

■再構築品質は必ずしも高いとは保証されません。

線のような薄いマスクは周囲のコンテキストを用いて推論しやすいですが、完全に覆われた領域は詳細や質感の手がかりが不足しているため、正しく再構築できないことがあります。

■マスク領域が多すぎる場合、モデルは修復すべき内容を認識できなくなることがあります。

そのような場合は、画像を分割してマスク領域を簡略化することで結果を改善できます。

修復したい部分の周囲だけを切り抜いて試してみてください。

事前に色補正を行うことも検出の改善に役立ちます。

例えば、スキャンした画像は褪色またはコントラストが低くなっていることが多いため、コントラスト調整が効果的です。

薄いグレーまたは不明瞭なトーンで埋められたマスクは、コントラストを調整して純粋な黒にすることで検出しやすくなります。

印刷点が見える場合、検出に干渉することがあります。場合によっては、明確さを高めるために自らきれいな黒のマスク線を再描画する方が良いでしょう。

■また、このLoRAは初期の実験段階であるため、一般的な形状は復元できますが、リアルな質感や細部の再現には苦手です。

低品質な結果となり申し訳ありませんが、その限界をご理解ください。

より良い結果を得るには、別のモデルでインペインティングや0.25〜0.5のノイズ削減i2iを使用することを推奨します。

SD1.5は軽量で、高解像度でも優れた性能を発揮するため、i2iタスクに最適です。

非常に優れたリファイナーとして機能し、予想外に良い結果を出すこともあります。

VRAMに余裕がある場合は、SDXLも検討価値があります。

■このLoRAの学習にはAI Toolkitを使用しました。

学習に興味がある方は、以下のURLで開発者が提供するチュートリアルをご覧ください。ぜひお試しください！

思ったより簡単にできるはずです。

データセットの詳細：

チュートリアルに従い、50枚の画像を使ってLoRAを学習しました。

■この50枚のマスクなし画像は最終編集結果を表しており、ターゲット側として使用しました。

■画像編集ソフトで、マスクされている可能性のある領域に各種マスクタイプを手動で追加し、それをコントロール側として使用しました。

ほとんどの画像はアニメ風ですが、実写写真も一部含まれています。

多様性を高めるために、さまざまなシナリオを用意しました。