(Project Sekai) Hoshino Ichika F.1 Dev LoRA Model

Hoshino Ichika F.1 Dev LoRA モデル

ベースモデル FLUX.1 Dev を用いた LoRA モデルです。

トレーニングには2種類の画像を使用しています：カード（非透明）とカットアウト（透明）。したがって、背景は単色になり、柔軟性は低いと思います。そのため、背景は自由に制御できると考えられます。

使用方法

この LoRA は単語「hoshino ichika」だけでトリガーできますが、キャラクターの特徴を確実に再現するため、最初に「hoshino ichika, long hair, blue eyes （または grey eyes）, black hair （もしかして 'blue hair' も可？）」をプロンプトに追加することをお勧めします。（ComfyUI-nunchaku のワークフローを使用している場合、トリガー語すら不要です）また、Danbooru データセットのタグのみを使用することを推奨します。

現在、LoRA の重みを 1.25 でしかテストしていません。それより低い値でも正常に出力できるかは不明です。（ご自身でテストして、コメント欄でお知らせください）

nunchaku の助けを借りてテストしたところ、LoRA の重みを 1.0 に設定しても問題なく動作し、プロンプトに LoRA ファイル名を記述する必要もありません。

キャラクターの紹介

Sekaipedia

---

トレーニングパラメータの概要

素材は主にキャラクターカード（Cards + Cutouts）を使用。Cutouts は透明、Cards は非透明です。

トレーニングスクリプトは sd-scripts の SD3 ブランチを直接使用し、fluxgym のスクリプトを参考に、自力でスクリプトとデータ設定を構築しました。

私のノートパソコンのスペックが低いため、トレーニング効率が高くなく、現在のところ avr_loss を効果的に低減する方法（ステップ数を増やす以外）を見つけていません（しかし、それだと時間がさらにかかります）。

この LoRA の使い方

SD 1.5 の LoRA と同様に、FLUX.1 Dev をベースモデルとして使用し、トリガー語「hoshino ichika」で LoRA を起動します（ヒント：もし私が使用している ComfyUI-nunchaku ワークフローと同じ方法で LoRA を読み込んでいる場合、このトリガー語すら不要で、キャラクターの主要特徴だけを記述すればOKです）。重みはデフォルトで 1.0 で問題ありません。ただし、キャラクターの基本的特徴が正しく反映されるように、「hoshino ichika, long hair, blue eyes （または grey eyes）, black hair （blue hair でもよい？）」といった特徴語を追加することを推奨します。また、可能な限り DeepBooru タグのみを使用してください。

直面する課題

この LoRA は新しいキャラクターのトレーニングに特化しているため、肢体など細部にまだ大きな欠陥があります。残念ながら、F.1 は SD 1.5 とは異なり、肢体の問題を一時的に克服するために自由に embeddings を追加することができません（ControlNet を使用して画像の構成を制御すると効果があるかもしれません）。私の評価としては、何度もリロードして試すしかないですね（。

（もちろん、優れた解決策があればコメント欄でお教えください。大変感謝いたしますx）