Fdetailer - Adetailer for Furries
詳細
ファイルをダウンロード
モデル説明
バージョンの違い
v1 と v1.1 は非常に似ています。どちらが優れているかを判断するのは難しいため、両方試して自分で決めてください。v1.1 はいくつかの小さな問題を修正しようとして訓練されたもので、v1 よりも改善されている一方で、一部の性能低下も見られています。私は v1.1 の精度の方がわずかに好みなので、一つだけ試すならこちらをお勧めします。
これは何ですか？
Fdetailer は、YOLO をベースモデルとして、フューリーな解剖学に基づいて訓練されたインスタンスセグメンテーションモデルです。データセットは約2万枚の画像で、アンスロポモーフィック（人間型）およびフェラル（動物型）のキャラクターを含む、さまざまな種類とアートスタイルが含まれています。このモデルは、顔、陰茎、膣、肛門、阴囊、肉球を検出しマスク化することができます。珍しい種や奇妙な解剖学には若干苦戦するかもしれませんが、全体的に、私が初めてセグメンテーションモデルを訓練した成果としては驚異的な精度です。
Fdetailer は、すべてを包括する マルチクラス モデルです。顔と肉球だけを検出する、肛門だけを検出する、または利用可能なクラスの任意の組み合わせを選ぶことができます。ただし、一部のインターフェースではこの機能をサポートしていない可能性があります。マルチクラスモデルは比較的珍しいです。
画像が与えられると、Fdetailer は訓練された対象を検出してマスク化しようとします。インスタンスセグメンテーションは、過去に広く使われてきたバウンディングボックス（bbox）モデルとは若干異なります。bbox モデルは対象物を検出してその周囲に四角形のボックスを描画しますが、インペイントにおいては、対象物の「周囲」の領域もインペイントの対象となり、意図しない部分に不自然なシームや奇妙なディテールが生じる可能性があります。
インスタンスセグメンテーションは、検出した対象の周囲に点対点のマスクを作成することでこの問題を解決しようとします。これらのマスクは、手動でキャラクターの顔を塗りつぶして作成するマスクと似ています。これにより、顔の周囲以外の画像部分が不自然にインペイントされる問題が解決されます。
これは誰のためのものですか？
私です。私はインペイントが面倒だったので、Fdetailer を作りました。私は ComfyUI の熱心なユーザーで、他のソフトウェアで編集する前に、ベース画像にさらに詳細な情報を追加したかったのです。生成したすべての画像に、顔や性器部分のインペイントが必要だと感じましたが、自分が気に入ったかどうかを判断する前に、毎回手動でインペイントする気力がわきません。
大量の画像を生成してから後で気に入ったものだけを選ぶタイプの人には、このツールは役立ちます。あなたがインペイントしたいと感じる（私の意見では）一般的なキャラクターの部位を、自動的にインペイントするプロセスを実現できます。
画像を一つ一つ生成の過程を観察するタイプの人にも、これは役立つでしょう。なぜツールがあるのに、お尻のインペイントのためにあなたのゴーニングセッションを中断する必要があるのですか？あなたを助けますよ、仲間。
実際に動きますか？
ほぼ動きます。私はインターネット上でピンクの猫を演じている、単なるバカです。これは私が初めて作成したセグメンテーションモデルであり、開発過程で多くの問題が発生しました。発生した問題のほとんどは修正しようとしていますが、私の知識と時間は限られているため、これは継続的なプロジェクトです。
精度は「まあまあ」です。肉球はアートスタイルや種類によって見た目が大きく異なるため、最も精度が低いです。肛門も問題になることがありますが、ほとんどのケースでは精度は十分です。陰囊はデータが不足しているため、検出が安定しませんが、大きな問題はあまりありません。それ以外のすべては非常に優れています。現在のモデルの状態には、全体的に満足しています。
珍しい種類のキャラクターは、そのニッチさによってモデルが混乱することがありますが、ほとんどの場合、十分に動作します。
どうやって使いますか？
より正確な手順については、お使いのUIのドキュメントを参照してください。UIによっては、クラスIDまたはクラス名に基づいて検出をフィルタリングするオプションが提供される場合があります。たとえば、顔のみを検出したい場合に便利です。以下は、モデルが訓練されたクラスIDとクラス名のリストです：
0: face
1: penis
2: pussy
3: anus
4: sheath
5: pawpads
信頼度のしきい値については、0.35～0.5 の範囲を推奨します。
ComfyUI: comfyui-impact-pack（Ultralytics サポートには comfyui-impact-subpack も必要）のカスタムノードを使用することをお勧めします。モデルを models/ultralytics/segm に配置し、UltralyticsDetectionProvider でモデルを読み込み、SEGM Detector (SEGS) を使用して推論を実行します。クラス名で検出をフィルタリングし、信頼度のしきい値を調整してマスク設定を変更します。SEGS を Detailer (SEGS) に接続してインペイントを行います。Impact の組み込みワイルドカード処理を使用して、検出された内容に基づいてプロンプトを変更できます。たとえば、すべての顔検出に detailed eyes を追加できます。できるすべての機能については、Impact ワイルドカードドキュメント を参照してください。
SwarmUI: ドキュメント。モデルを (swarm)/Models/yolov8 に配置し、プロンプトに <segment:fdetailer_seg_v11.pt,denoise,threshold> を追加します。denoise を希望のノイズ低減強度に、threshold を希望の信頼度しきい値に変更してください。これにより、画像内で検出されたすべてのオブジェクトがインペイントされます。
検出したい対象をフィルタリングするには、モデル名の後にコロンで囲んでクラスIDまたはクラス名を追加します。たとえば、顔と肉球のみを検出したい場合は、プロンプトに <segment:fdetailer_seg_v11.pt:face,pawpads:,denoise,threshold> を追加します。
A1111 および Forge 系: Adetailer 拡張機能が必要です。モデルを models/adetailer に配置します。Adetailer 拡張機能はクラスフィルタリングをサポートしていません。検出されたすべてのクラスがインペイントされます。クラスフィルタリングを追加した Adetailer の更新またはフォークが実装されるまで、この制限は変わりません。また、デフォルト設定は bbox マスク向けに最適化されています。このモデルはセグメンテーションマスクを生成するため、「inpaint only masked padding pixels」を 64 以上に増やすことを強く推奨します。
詳細な手順については、Adetailer のドキュメントを参照してください。私自身、あるいは私の友人は A1111 やその派生版は使用していません。
将来の計画
精度: 現在のモデルの状態には大体満足していますが、もっと良くできます。現在のデータセットをもう一度チューニングし、マスクの精度を向上させるとともに、YOLO のより大きなパラメータバージョンを使用してモデルを再学習する予定です。
追加クラス: より大きなパラメータモデルを使用すれば、他のクラスの精度を損なう心配なしに、追加のクラスを導入できます。提案を歓迎しますが、現在の計画には目、口、睾丸、乳首の追加を含んでいます。また、貫通する対象とその穴の両方をマスクする「貫通」クラスの追加も検討していますが、これはまだ夢の段階です。
手？: はい、ただしすぐには無理です。手は複雑で、どうやって最適に処理するかを少し研究する必要があります。