CompositionFactor (Experimental)

これは、出力画像の構図を改善することを目的とした非常に実験的なLoRAの試みです。それが可能かどうかを検証するために作成しました。

言い換えると、構図の良し悪しはモデルによって異なります。多くのモデルを混ぜると、特徴が平均化され、退屈な構図になってしまうことがあります。そのため、構図の良いモデルを起点として、U-net内で広い領域に大きな影響を与える層を学習させることを目指しました。

しかし、実際に試してみると、適用するモデルによって効果に非常に大きな差があることがわかりました。LoRAによる変更が有効な場合もあれば、ほとんど効果がなく、あるいは逆効果になることもあります。もともと良い構図を持つモデルの場合、このLoRAは邪魔になるだけです。LoRAは構図に効果的な層が欠けているため、効果が薄い可能性があります。また、概念的な操作も試しましたが、モデルが「良い構図」とは何なのかを正しく理解できていないことが問題でした。概念ベースで操作してもある程度の変化は生じますが、構図は大きく変わりません。特定の構図を生成するにはプロンプトで対処できるかもしれませんが、一般的に良い構図を生成するには、モデル学習時の準備が必要です（i2iやcontrol.netで操作する人には関係ありません）。

とはいえ、これらの階層を操作することで何らかの影響を与えることは可能です。私は「良い構図」を生み出すという最も大きな課題を諦め、構図を決定する階層に外乱を加えるLoRAとして再構成しました。このLoRAを使用しても構図が必ずしも改善されるわけではありません。良い構図を作り出すのではなく、これまでとは異なる構図を生み出すためのものです。普通に考えると馬鹿げているように思えるかもしれませんが、1で試して効果がなければ、-1を試せばいいのです。

構図に影響を与えるため、絵全体に影響します。キャラクターへの影響は抑えられていますが、体型などにはある程度の影響があります。キャラクターのアップショットのような構図にはほとんど効果がありません。LoRAでは画像の大きな領域に対する影響力が低すぎます。風景など、人物が中程度以下に小さい場合に多少。キャラクターのアップショットのような構図にはほとんど効果がありません。LoRAでは画像の大きな領域に対する影響力が低すぎます。風景など、人物が中程度以下に小さい場合に多少効果を発揮します。モデルによっては類似のデータを持っているため、影響が弱まる可能性もあります。また、構図だけでなく、多くの要素が変化します。

実用的には、このようなものを使うよりもシード値を変更するほうが絵全体への影響を確実に与えられるため、構図全体を変えたい場合はそちらの方が良いでしょう。しかし、シードを変更しても構図がほとんど変わらないようなモデルの場合、このようなツールは役立つ可能性があります。

オリジナル