Flux Regularization images and txt captions generator with Dynamic and Wildcard - ComfyUI
詳細
ファイルをダウンロード
このバージョンについて
モデル説明
これにより、上半身とシャツに焦点を当てた、男女を含むあらゆる年齢層の現実的な人物のランダムで多様化された画像が生成されます。ダイナミックなプロンプトはご自由に変更してください。
50%の画像では、シャツにランダムなテキストとランダムな数字を追加し、Fluxのテキスト機能を維持しようとします。
ランダムなアスペクト比も生成されます。これは望ましいかどうかわかりませんが、すべてのトレーナーにバケットが用意されている中で、1×1のみでの学習は悪い考えだと感じます。1×1の比率は他の比率の10倍生成されます。
私は、このダイナミックプロンプトで使用するワイルドカードフォルダーもアップロードします。
このワークフローで既に180枚の画像を生成したフォルダーがあります。必要であればお問い合わせください。ただし、服を着た未成年の画像が含まれているため、Civitaiのルールに反するためアップロードしません。今後さらに作成する予定ですが、現時点ではこれが全てです。
ComfyUIのフォーエバーキューをご利用ください。
これを使用するには、必要なノードの更新やインストールなど、すべてをきちんと行ってください。
これは、@TheGreatOne321 のワークフローを基に、拡張したものです:/model/646449/regularization-image-workflow-and-collection-for-flux
現在のダイナミックプロンプトは次の通りです。常に変更しています:
高解像度 {8::color-graded|black and white|vintage} プロフェッショナル __collections/devilkkw/composition/image_composition_angle_perspective_depth__ 写真、__collections/devilkkw/composition/image_composition_framing_body__ ビューの {0.5::plumpy|0.5::muscular|0.5::skinny|0.2::fat|} __yetanotherwildcardcollection-main/states/age__ {0.05::Prince Harry|0.05::Bill Gates|0.1::Elon Musk|__collections/jumbo/people/nationalities/*__} {man|woman} が {long sleeves|tank top|button|vneck|high crewneck} {light|dark}-__YetAnotherWildcardCollection-main/Colors/Basic__ シャツを着用。{床に座っている|走っている|地面に横たわって休んでいる}、{両腕が完全に伸ばされている {両サイド|体の前|上}|両腕が腰に置かれている|両腕が {0.2::口|0.2::鼻|カメラ|地面} を指している}|両腕が頭の後ろに置かれている}{|、シャツには {light|dark}-__YetAnotherWildcardCollection-main/Colors/Basic__ 色で "{__collections/artists/*__|__common_animals__|__collections/nsp/nsp/fruit__}" という言葉と数字 "xxx" が {printed|scribbled|painted|draw} されたスタイルで表示されている}。背景は __yetanotherwildcardcollection-main/background/*__
ついにレギュラライゼーション画像の実験を始めました。なぜか?Fluxの「脇の汗染みシャツ」の4回目のトレーニング中ですが、十分な成果が得られていません。良いですが、まだ不十分です。そこでついにこの方法を試してみることにしました。
レギュラライゼーション画像は、私にとって非常に複雑で分かりにくいトピックです。
まだ、10〜20枚の高品質画像でトレーニングされたほとんどのLoRA、特にそれらは必要ないと考えています。しかし、私は常に少なくとも60枚の画像をデータセットに含めます。柔軟性を確保し、コンセプトのあらゆる側面を実際にトレーニングしたいからです。
私の考えは、モデルが既に持つ本質的な長所と短所(カメラの位置、画像の品質、人体の解剖学的構造、すでに存在するバイアスなど)を維持できるようにすることで、LoRAが本当に私が望む部分に影響を与えることができるというものです。
単なる抑制手段としてレギュラライゼーションを使用する理由はまったく感じません。したがって、データセットと同じキャプションでトレーニングすることは私の理解では意味がありません。重要なのは、モデルが「シャツ」と「汗染みのシャツ」が異なることを理解させることです。それが私の目標です。
また、レギュラライゼーションを「ぼけ防止」手段として使うのはまったくの無意味だと考えています。ぼけを避けたいなら、LoRAを単に無効化すればいいのです。LoRAはチェックポイントではありません。
さらに、私のLoïc Barcourt LoRAにもこのアイデアを適用し、モデルの品質を回復しようとしています。私が使用したほぼ200枚のスクリーンキャプチャや一部の低解像度画像から、モデルが品質の悪い部分をあまりにも多く学習してしまいました。それらすべての画像が「低品質」としてキャプションされていても、LoRAの重みとして学習されてしまいました。LoRAはキャプションの内容に関わらず、繰り返しによって学習するため、これは予想通りでした。だからこそ、レギュラライゼーションは、低品質、JPEGアーチファクト、変な角度などを学習してしまったLoRAを救うことができると思っています。





