ControlNeXt

---

🤖 Github | 📝 プロジェクトページ | 📚 論文 | 🗂️ デモ (SDXL)

---

ControlNeXtは、画像および動画の両方をサポートし、多様な制御情報を取り入れた制御生成の公式実装です。本プロジェクトでは、ControlNetと比較して学習パラメータを最大90%削減し、収束速度の高速化と優れた効率を実現する新しい手法を提案しています。この手法は、他のLoRA技術と直接組み合わせてスタイルを変更し、より安定した生成を実現できます。詳細は例を参照してください。

当方はControlNeXt-SDXLのオンラインデモを提供しています。SVDの高いリソース要件のため、SVDのオンライン提供はできません。

🎥 例

---

🛠️ 使用方法

---

🚀 クイックスタート

---

ここでは、ControlNeXt-SDXL AnimeCannyを例に説明します。

まず、Pythonがインストールされていることを確認してください（AIを扱っているので、これはデフォルトでインストールされているはずです）。

ターミナルを起動し、以下のコマンドを実行してGitHubリポジトリをクローンしてください：

git clone https://github.com/dvlab-research/ControlNeXt
cd ControlNeXt/ControlNeXt-SDXL

必要なパッケージをインストールしてください：

pip install -r requirements.txt

（オプション）LoRAウェイトをダウンロードしてください。たとえば、Amiya (Arknights) Fresh Art Styleなど。これらをlora/ディレクトリ（または好きなディレクトリ）に配置してください。

最後に、例を実行してください：

bash examples/anime_canny/run.sh

独自でモデルをダウンロードした場合、bashスクリプトを以下の通り修正してください：

# examples/anime_canny/run.sh
python run_controlnext.py --pretrained_model_name_or_path "neta-art/neta-xl-2.0" \
  --unet_model_name_or_path "Eugeoter/controlnext-sdxl-anime-canny" \ # HuggingfaceリポジトリIDまたは、ControlNeXt UNetモデルのローカルファイルパス。
  --controlnet_model_name_or_path "Eugeoter/controlnext-sdxl-anime-canny" \ # HuggingfaceリポジトリIDまたは、ControlNeXt ControlNetモデルのローカルファイルパス。
  --controlnet_scale 1.0 \ # 制御条件の強度を調整するために使用するControlNetスケール係数
  --vae_model_name_or_path "madebyollin/sdxl-vae-fp16-fix" \
  --validation_prompt "3dスタイル、写実的スタイル、1girl、arknights、amiya (arknights)、ソロ、白背景、上半身、観覧者を見つめる、赤面、口を閉じた、低いポニーテール、黒ジャケット、フード付きジャケット、開いたジャケット、フードを下ろした、青いネックウェア" \
  --negative_prompt "最悪の品質、抽象的、不自然なポーズ、変形した手、指が結合、余分な指、指が少ない、余分な腕、腕が欠けている、余分な足、足が欠けている、署名、アーティスト名、複数のビュー、変形、不細工" \
  --validation_image "examples/anime_canny/condition_0.png" \ # 入力Canny画像
  --output_dir "examples/anime_canny" \
  --load_weight_increasement # ウェイト増分を読み込む

📝 その他の情報

---

その他の使用方法や例については、当方のGitHubプロジェクトページをご参照ください。