Anti-blur Flux Lora

AntiBlur LoRAが大幅に改善されました！

新しいLoRAの改善点：

• DoFはLoRAの重みで調整可能。

重み0に設定すると、Flux生成に典型的な浅いDoFになります。

デフォルトの重み1.0では、スタイルや構図に大きな変更を加えずに、より快適なDoFに抑えられます。目標は、重み1.0でDoFを「当然ありそうな」レベルにすること——そこかしこに少しだけ良いボケが現れる程度で、Fluxではよくあるように過剰にしないようにすることです（後で詳しく説明します）。

重み1.0以上に設定すると、深いDoFの画像を生成できます。LoRAは品質の著しい劣化なく、重み3.0以上に対応できます。

• スタイル的に中立

データセットは、Fluxで生成された数百枚の画像から構成され、元のモデルのスタイルからあまり逸れないようにしました。また、Fluxが構図の劣化を起こさないように（AIが自身の画像で学習すると起こる現象）、少数の実写も使用しました。

• Hires. fixと相性が良い

このLoRAはhiresfixとよく組み合わせられ、詳細をさらに増やし、浅いDoFを最小限に抑えることができます。これは、基本的なFluxでは成り立っていませんでした。なぜなら、浅いDoFのぼやけた画像にhires. fixを適用しても、同じDoF効果のままでぼやけたままだったからです。hires.fixが効果を発揮するには、画像にまず詳細が現れる必要があります。

• トリガー語は不要

LoRAを接続するだけで機能します。

• アーティファクトが大幅に減少

Flux生成画像を使用することで、アーティファクトを最小限に抑えました。また、複数のモデルをトレーニングし、anashel氏が提供するツールを使って、最も優れたモデルをマージしました（これにより、アーティファクトの原因となっていた個々のモデルの端の粗さが滑らかになりました。マージは、モデルのスタイル的多様性を高めるために特に有効でした）。

なぜLoRAのサイズが655MBなのか

「深いDoF」効果を持つLoRAは、新しいスタイルや概念を導入するわけではなく、ただ浅いDoFを除去するだけなので、小さいべきだと思いました。

そのため、さまざまなLoRAランクを試しましたが、背景に関する情報は潜在空間全体に広がっており、モデルが大きいほど結果が良くなりました。このため、128ランクのLoRAに決定しました。

LoRAの層を分離し、DoF情報を持つ層だけを使用することも可能ですが、DoFに関する情報はほとんどの層に分散していました。たとえば、マクロ撮影を生成する際、DoFは最初の層から生成されます。背景に現れる情報はモデル全体にわたって存在し、Fluxのトレーニングデータが常に浅いDoFであったため、それが問題でした。さらに、FluxはDoFとぼかしの概念を本質的に非常に poorly 理解しています。SD1.5/SDXLと比較して、浅いDoFの量がはるかに多く、制御性もはるかに劣っています。

このLoRAはどのように作られたか

まず、フォーカススタッキング技術と深いDoFを用いて膨大なデータセットを構築し、そのデータセットで新しいLoRAをトレーニングしました。次に、このLoRAを使って新しいデータセットの画像を生成しました。

「antiblur」LoRAの数百のバリエーションを作成し、それぞれの長所を持つ優れたモデルを選別し、1つのバランスの取れたモデルに統合しました。

次に何をするか？

ランクが高いほど品質が向上するため、結果をさらに改善する明確な方法は、フルファインチューニング（潜在空間全体、特に背景に関する情報が存在するあらゆる部分にアクセス）を実行し、その後LoRAを抽出することです。

もう1つの理論的な選択肢は、Fluxの潜在空間内の「ぼかし」または「DoF」の概念/重みを見つけて、その逆の重みでLoRAを作成することです。しかし、この手法はSDベースのモデルにおけるDoF制御にはあまり効果的ではありませんでした。

現時点では、この結果に満足しています。このモデルはしばらくの間、私の最善の努力の成果として残ります。