Tutorial: konyconi-style LoRA - konyconi
詳細
ファイルをダウンロード
モデル説明
このチュートリアルの新バージョンはこちらです: https://civitai.com/articles/771/tutorial-konyconi-style-lora-update
試行錯誤の末、さまざまなアイテムにスタイルや特徴を適用できるLoRAを効率的に作成する方法を発見しました。私のLoRAはcivitai.comでも好評をいただいており、プロセスがどれほど簡単で迅速であるかに驚いています。まるで不正行為をしているようです。評価をいただいて嬉しいですが、そろそろこのアプローチを無料で皆さまと慎んで共有する時期来了と思いました。
このチュートリアルでは、私が大多数のLoRAを作成する際に従っている典型的なプロセスを紹介しています。
TLDR版: 生成画像を使用。訓練データにシンプルなイラストを組み込む。基本的なキャプション：[トリガー語] [概念]。Pythonスクリプトでキャプションファイルを作成。
ステップ1: コンセプト（スタイル／特徴）を発想し、お気に入りのチェックポイントでそのスタイルが再現できないことを確認する。たとえばボヘミアン風を想定。
revAnimatedさん、お願いします。「ボヘミアン風のタンク」を生成して。
ボヘミアン風は試してみる価値ありのアイデアですね。
ステップ2: 他の画像生成ツールを確認。
Bingさん、お願いします。「ボヘミアン風のタンク」を生成して。
プロンプト：ボヘミアン風の戦車のイラスト
DALEE-2さん、お願いします。「ボヘミアン風のタンク」を生成して。
プロンプト：ボヘミアンスタイルの戦車、イラスト
これらの画像がボヘミアン風をある程度捉えていることがわかります。よって……
ステップ3: ボヘミアン風を理解できる画像生成ツールで訓練データを生成。
私の一部のLoRAは訓練データに生成画像を使用しませんが、他のものでは一部の生成画像を含んでいます。特に、最近のLoRAは生成画像のみに依存しています。
たとえば、「ボヘミアン風のタンク」「ボヘミアン風のコンピュータ」「ボヘミアン風の村」「ボヘミアン風の飛行船」「ボヘミアン風の潜水艦」など、それぞれ1～6枚ほど生成し、合計50～100枚程度を目指します。
「ボヘミアン風のタンク」のような珍しいテーマを生成する際、ステップ2で示したような画像に遭遇することがあります。それらを訓練データに含めることを気にする必要はありません。むしろ、（準）リアリスティックな画像よりも質が良いことが多いです。たとえば、BohoAIの訓練データには飛行船の例として以下のものが含まれています：
しかし、最終的なモデルはこのような結果を出力します：
また、（準）リアリスティックな画像も含めてください。たとえば「ボヘミアン風のリビング」などは生成しやすいでしょう。
ステップ4: ロゴ、生成された著者署名、その他の類似要素を画像から削除。不要なアーティファクト（たとえばタンクの塔に余分な大砲）も除去。
削除は粗いもので問題ありません。不要な部分に画像の他の部分を重ねて隠すだけでOK。
画像のリサイズは行わない。
ステップ5: キャプション付け。
非常に簡素なキャプションを付ける。例：「BohoAI dirigible」。
プロセスを迅速にするテクニック：各コンセプト名に従ってフォルダに画像を保存。つまり、すべての飛行船画像は「dirigible」フォルダに。
すべての画像を該当フォルダに整理したら、添付ファイルにあるPythonスクリプトを実行します。このスクリプトはフォルダを再帰的にたどり、各.jpgファイルに対し、指定されたトリガー語とフォルダ名を含む.txtファイルを生成します。
ステップ6: 準備完了。LoRAの訓練を開始。
通常の設定で問題ありません。多少の試行錯誤の末、望む結果を得るにはランク128とアルファ128が必要であることがわかった。後ほどさらに詳細な分析を行う予定です。
kohya ss用の設定ファイルも共有しますが、多少の自由解釈が必要です。私は頻繁に変更して無作為に実験するためです。BohoAIはこの設定で10回の繰り返しを使用して訓練されています。
このLoRAはボヘミアン風を包摂し、未訓練のコンセプトにも巧みに適用します。
dajushaさんのレビュー画像を確認してください（私のデータセットには動物の画像は一切含まれていません）: https://civitai.com/images/616301?period=Week&periodMode=published&sort=Most+Reactions&view=categories&modelVersionId=56427&modelId=51966&postId=172873
私の秘訣を共有しました。そして一点だけお願いがあります：この方法で訓練したLoRAを公開する際は、このチュートリアルにAttribution（クレジット）をください。
多数のクリエイターがこのアイデアを採用・改良し、最終的にはcivitai.comのコンテンツ品質を一層向上させることを願っています。私が貴重な知恵を共有した以上、コーヒー代を少しだけご支援いただけると嬉しいです。以下のリンクからどうぞ：