Hunyuan + Flux Sim SCHNELL Unchained
詳細
ファイルをダウンロード
このバージョンについて
モデル説明
それは、Schnell Simulacrum v1512 が、非常に特定の方法で Hunyuan とマージされたものです。
多くの Flux LoRA および Hunyuan LoRA と互換性があります。
私は、これが混同を招くような派生モデルであることを確実に知っており、私の ComfyUI 上での推論は異なります。なぜこのような現象が起きているのか、現在のところ理由を特定できず、理解していません。
https://civitai.com/articles/11578/accidental-discovery-flux-loras-work-on-hunyuan
これには** literally precedents が存在しません**。したがって、Flux と Hunyuan をマージするための奇跡的あるいは万能な解決法を期待されている場合、それは実現しません。
しかし、結果に明確な影響を与える複数の LoRA が存在します。特に CLIP_L をトレーニングしたものです。
繰り返しますが、これは私が発見した全新的な発見であり、モデル公開でこのような注目を受けることはめったにありません。この場合、私はすべての答えを持っていません。
ただ、私は探求中であり、皆様のためにその答えを見つけるために努力していることを知ってください。これが現時点で私ができることのすべてです。
マージに使用した ComfyUI のフローチャートについては、記事を参照してください。結果は基本的に同じです。
このマージされた Hunyuan を、他の Hunyuan LoRA と組み合わせて使用することで、システムにおけるより具体的な結果を指定してください。現時点では、このプロセスは非常に予測不能かつ前例がありません。
すべてのモデルは圧縮されています。
前置きとして、このモデルをどのように使ってよいのか、私自身もわかりません。Schnell Sim v1512 は、純粋な英語と booru タグが混在したデータで大幅にトレーニングされており、アニメ、3D、リアリスティックなスタイルに対する完全に固定されたパスを備えています。ネガティブプロンプトをサポートし、CFG 3.5〜6 の範囲で最適に動作しますが、これは Flux ではなく、異なるルールを持っています。しかし、このモデルは機能します。今後数週間で、なぜこれが動作するのかその理由を解明しようと取り組みますが、現在のところ理由はまったくわかりません。
Comfy のガイドANCE システムが、T5 を何らかの形で組み込んでいる可能性があるかどうかを確認するために、コールチェーンとブロックローディングを分析する必要があります。実際、確認すべき項目が約50ほどあります。
/////
頑張ってください...
/////
私がこれを正しくトレーニングするまで、LoRA の使用を強く推奨します。
アクションと Schnell Simulacrum タグを混ぜてプロンプトを入力してください。
コンテンツ：
Hunyuan ベースモデル BF16
BF16 を選択したのは、これが bf16 Schnell Sim に最も反応が良いからです。
現在の状態では、各サブセットに量子化を組み込んだ適切なチェックポイントローダーノードをリリースするまで、強制的に bf16 として使用する必要があります。
Simulacrum Schnell v1512 BF16 LINK
- このモデルには、タグ付け、構造、プロンプト使用法、慎重なプロンプト設計に関する一連の記事とノートが用意されています。
CLIP_24_L_OMEGA BF16
- これまでに3800万以上のサンプルでトレーニングされています。つまずかないように注意してください。おそらくあなたが探している絆創膏さえ識別できるでしょう。
LLAMA FP8
これはよりコンパクトで、中程度の速度です。
パフォーマンスに大きな影響を与えることはないでしょう。
Hunyuan BF16 VAE
- このみが、システムに基づいて正しく圧縮され、正しい評価を実際に出力する唯一のモデルです。
マージのサポート：
ComfyUI:
- Checkpoint Save ノード → ここにチェーンのすべてのエンドポイントを接続してください。
LoRA Loader:
****
これは Flux モデルから CLIP を読み込むために使用しています。
Flux モデルに CLIP が含まれていない場合、おそらく動作しませんが、動作する可能性もあります。
****
標準の LoRA ローダーを使用して、CLIP_L omega 24 と CLIP を正しくマージする必要があります。モデルと CLIP の両方を接続し、CLIP の OUTPUT だけを接続してください（モデルの OUTPUT は接続しないでください）。
ストレングス：
モデル：0
CLIP：1.0
Hunyuan LoRA Loader:
****
今はこれらのモデルを使用しています。
****
これはシングルブロックまたはダブルブロック単位で LoRA を読み込みます。Flux LoRA はシングルブロックで読み込み、強度は 1.0 より低くしてください。1.0 はほとんどの LoRA に対して過剰なパワーを重ね合わせ、多くの LoRA は実質「焼き切れて」使用不能になります。幸運にも、Sim Schnell は、まるで完璧に調理されたローストビーフのように、まったく燃え尽きておらず、数週間にわたり低温で丁寧に焼き上げられています。
ストレングス：
ダブルブロック：0.2
シングルブロック：0.8
両方のチェーンを Checkpoint Save に接続：
Hunyuan LoRA モデルチェーンからの Model OUT
Flux LoRA Loader チェーンからの Clip OUT
VAE Load ノードからの VAE OUT
CPU モードでモデルを圧縮するには 90GB 以上の RAM が必要です。お待ちください。モデル変換には時間がかかります。私は約15分かかったと思います。
これで、マージされたモデルを使用できます。このモデルはより高速に生成し、システムが提供する多数の最適化を活用します。
さまざまな方法で読み込んだり、同様のプロセスで独自に圧縮することも可能です。
これは基礎づくりです。真に素晴らしいものを構築する可能性の土台を築いています。
私のバージョンの Schnell は、改訂された Apache 2.0 ライセンスの下で保護されています。その条件として、小規模な企業や研究機関は利益を得ることが可能ですが、大規模な企業や営利目的の大型研究団体は、金銭的対価なしに直接利益を得ることはできません。
Hunyuan の場合は、このマージに対してライセンスを Hunyuan に譲渡します。これは私のベースモデルではないため、すべての権利は元のモデル作成者に帰属しており、停止要請が発行された場合、争うことはありません。
最終的に完全な Apache 保護のファインチューンを提供しますが、今日はまだできません、友人たち。今日はまだ。
私は米国に拠点を置く独立した研究者であり、米国法およびその影響に基づき、モデル所有者のライセンスと権利を尊重します。