Judy Hopps (On Model)

これは私が自ら試みたジャディ・ホップス用のLoRAです。

ベースモデルにはジャディ・ホップスに関する十分な知識が含まれており、すでに多くのLoRAが存在しますが、多くのLoRAやモデルはファンアートを中心に学習されています。

私はジャディ・ホップスの熱心なファンであると自負しているため、可能な限り正確にジャディを再現したいと思いました。

V3をリリースしました！

以下のモデルをお勧めします：/model/3671?modelVersionId=1623867

数ヶ月かけて、ついに自分のOn Modelジャディ・ホップスLoRAのV3を作成しました。このプロジェクトは2.5がリリースされた直後の10月から始めました。データセットが大きいため、すべてを処理しキャプションを付けるのに時間がかかりましたが、キャプションは決して完全なものではありません（私は自動タグ付けを使わず、Booru形式のキャプションを手動で付けました）。

それでも、ポーズや衣装に関する十分な知識が含まれているはずです。

私はこのLoRAのトレーニングに時間をかけ、さまざまなモデルを試しました。まずPony V6、次にIllustrious 1.0、その後NTRMix、そしてGehennaを使用しました。

当初、Illustrious 1.0のバージョンをリリースしようと考えていましたが、ユーザーにはGehenna 2をベースモデルとして使用するよう指示しようとしていました。Gehenna 2は比較的良質な出力を生み出していましたが、映画の外観を大きく失い、特定のトリガーワードや衣装を正しくレンダリングできていませんでした。

残念ながら、IL 1.0の出力はあまりに不安定で、ベースモデルとして推奨することができませんでした。

最近では、YiffyMixを試していました。これはプロンプトの理解力が非常に高く、何よりシーンの一貫性が優れていると感じていたからです。しかし、提供されている設定を守っても出力が「焼きすぎた」ように見えてしまう問題に悩まされていました。

しかし、Yiffyの優れたプロンプト準拠性と一貫性を活かしたいため、V3をYiffyでトレーニングすることに決め、焼きすぎないことを期待しました。

そして、まさかこんなに早く試すべきだったとは思いませんでした。

壁に頭をぶつけて、さまざまなモデルでトレーニングを重ね、画像品質と一貫性を向上させようとしていたのに、答えはただYiffyでトレーニングするだけだったなんて、笑えます。

このバージョンが、より良いベースモデルが登場するまで、これ以上良くなることはないと思います。したがって、おそらく今後しばらくはこのバージョンが最終版になるでしょう。

ただし、Pony V6用のバージョンは存在しません。最初はPonyでトレーニングしましたが、なぜかキャプションを追加すると逆効果になり、出力がひどいものになってしまいました。したがって、Ponyユーザーには2.5が最良のバージョンです。それ以外の場合は、Yiffyをぜひお試しください。

（以前のV2.5）

2.5は、すべての画像を手動でキャプション付きで処理する以前の最終バージョンです。

このバージョンは、衣装の制御をもう少し強化する目的で作成されました。V2ではジャディのデフォルトの警察官服から逸脱するのが難しかったため、さまざまな衣装のタグを追加しました。加えて、映画から選んだいくつかの特徴的なポーズのタグも追加しました。私のテストでは、このバージョンは生成の整合性を大幅に改善しているように見え、このギャラリーのすべてのサンプル画像はPony V6ベースで生成されています。

衣装については、トリガーワードに加えて、希望する衣装を手動で指定する必要があります。例えば、「judyciv, white tshirt」や「judyfrm, pink shirt」などです。詳細は画像を参照してください。

衣装タグ

"judyhopps": すべての画像用の標準トリガー。

"judyblu": 彼女の警察官服。

"judyfrm": ピンクのシャツを着た農場の衣装。

"judyciv": ズートピアに最初に移動したときに着ていた服（黒のシャツの上に白いTシャツ、黒のズボン）。

"judymtr": 彼女のパーキングメーター係の制服。

ポーズ/コンセプトタグ

"judymicbang": マイクに囲まれたジャディ。ちょっと怪しい感じ。

"judyact": 舌を出し、死んだふりをする姿。

"judyback": 自然史博物館で背中を向けた姿。

"judychairclimb": ZPDの巨大な椅子に飛び乗ろうとする際の後ろ姿。

"judycry": ニックに謝るときに泣いている姿。

"judydance": 映画の最後のガゼルのコンサートで踊る姿。

"judymultiply": 「ウサギは繁殖が得意だよ」と冗談を言うときに取る、生意気なポーズ。

"judypeek": DMVのカウンター越しに覗き込む姿。

"judysquish": 2匹の大動物に挟まれた姿。

"judytrainlean": 電車のコンソールに寄りかかる、後ろからの姿。

"judytrainhang": 電車の脇からぶら下がり、肩越しに振り返る魅力的な姿。

"judykneel": パーキングメーター係の制服で歩道に膝をつく姿。私のお気に入り。

"judytrainrecline": 電車のコンソールの上に仰向けに横たわる姿。

いくつかのポーズは他のより優れているので、ぜひ試してみてください。

次バージョン：

今残っているのは、キャプションの追加だけです。これで整合性と制御の問題がすべて解決するはずです。

（以前のバージョンV2）

このバージョンでは、データセットに約500枚の画像を追加し、合計1,146枚になりました。主な改善点は、顔の表現、キャラクターの正確さ、そして全体的なレンダリング品質です。

私はV1にキャプションを付けたV1.5を予定していましたが、結果が十分ではなく、場合によってはキャプションが逆効果になりました。

今回のリリースでは、依然としてキャプションは使用しておらず、トリガーワードはjudyhoppsです。主にAutismMix Confettiで生成していましたが、映画のスタイルに最も近づけたい場合は、Pony V6ベースを推奨します。メモリに余裕があれば、初期画像にAutismを使い、60%程度でPony V6をリファイナーとして使用できます。

ニックは複数のスクリーンキャプチャに登場しているため、「male fox」とプロンプトすると、彼を効果的に生成できます。

既知の問題：

- 衣装の正確さは向上しましたが、衣装を変更するのが難しくなりました。特に、彼女の標準的な警察官服に強く固定されてしまいます。LoRAの強度を下げ、使いたい衣装の強度を上げると改善します。LoRAを0.7、衣装を1.2に設定するのがよい出発点です。

これは、キャプションをようやく追加したときに解決されるでしょう。

- 彼女の耳が時々、同時に上向きと下向きの両方の位置でレンダリングされることがあります。これはV1でも問題でした。

次バージョン：

残っているのは、衣装の変更能力を向上させるために画像のキャプションをすべて付けることだけです。それ以外は、今の結果にほぼ満足しています。

（以前のバージョンV1）：

このLoRAは、映画から抽出した500枚以上のスクリーンキャプチャ（各画像は1024x1024に切り取られ、各20ステップでトレーニング）で学習されています。完璧ではありませんが、これまでの結果は私の期待を上回っており、しばらくこのLoRAで生成するのが楽しみです（笑）。キャプションは使用していません。

トリガーワードはjudyhoppsですが、プロンプトに「bunny」を追加すると出力が改善することがあります。

これらの画像はほとんどAutism Mix Confettiで生成しました。これは、通常のPonyに近いのに解剖学的な問題が少ないからです。Cyberrealistic Ponyも非常にうまく機能します：/model/443821/cyberrealistic-pony

どちらの場合も、彼女を裸で生成するときは、プロンプトに「_muscular, abs, ribcage」を否定プロンプトに追加することをお勧めします。さもないと、オリジナルのスタイルとは合わないような非常に目立つ解剖学的特徴が生成されがちです。

既知の問題：

- 衣装が常に正確ではない（一部のスクリーンキャプチャにニックが登場していたため、ネクタイを着用している場合がある。キャプションの追加で解決される見込み。）

- 特定の角度や遠くから見た場合、顔が非常に歪んでしまうことがある。ただし、LoRAは近接ショットと中距離ショットのバランスの取れたデータでトレーニングされています。