KM-MIX Unexpected product
詳細
ファイルをダウンロード
このバージョンについて
モデル説明
私のすべての研究は直感に依存しており、得られた結果はあまりにも抽象的で、理解したり表現したりするのが難しい。研究の出発点自体に問題があるのかどうかも分からないし、手がかりもほとんどない。試行錯誤を繰り返すしかない。研究というよりも、むしろ総当りで、暗号解読ゲームのパスワードを力技で破るのと同じくらい品がない。
前回の更新から随分時間が経ったので、最近の研究結果を共有しておく。
理論的には大きな進展があったが、実践的には依然として失敗した。複数のLORAをうまく混合できていない。
さて、これからはモデルとLORAについてある程度抽象的に理解してほしい。そうでないと、これらの研究結果を説明するのが非常に難しい。
LORAの本質は、ある種の記憶である。モデルがLORAを学習する際に画像に対して持つ認知である。
ごく少数のLORAのみが「知識」という段階に達する。
モデルは人間の思考と、いくつかの点で共通点がある。
人間：観察 → 記憶 → 想像
モデル：訓練 → アノテーション → 生成
はい、とても馬鹿げているよね？もう説明する気力もなくなってきた。
モデルの階層とLORAの情報階層
画像生成テストでLORAの重みを上げたときの画像変化のパターンに気づいた人も多いはずだ。このパターンは、モデルを繰り返し分解することで再現可能であり、その発見をもとに、モデルをA〜Eの5段階の階層に分類した。
初期のモデル分解は、大まかにC階層のベースモデルと損傷したA階層の画風モデルの組み合わせであり、この組み合わせではモデルを完全に活性化できず、LORAの解釈や取得にも影響を及ぼしている。
しかし、E階層は非常に特異である。A〜D階層がモデルが意識的に理解する情報だとすれば、E階層はモデルの無意識——訓練中にアノテーションされていない情報である。とはいえ、すべてがあまりに抽象的で、LORAにも同様の挙動が見られる。
LORAを追加で解析するとき、LORAの情報階層がモデルの活性化階層より高いと、後続のブレンドで数値オーバーフローが発生する。逆に、LORAの情報階層がモデルの活性化階層より低い場合は、LORAの重みを非常に高く設定できる（例：9999）。
モデルのブレンド時に、LORAの情報階層がモデルの活性化階層より高ければ、モデルはLORAの情報を強調して表示する。逆に低ければ、通常通りLORAの情報を取得する。
とりあえずここまで共有しておく。その他の研究はまだ明確に検証されておらず、単なるアイデア、推測、個人的な感覚にすぎない。もう2年近く研究を続けているが、初期のように未熟な理論やモデルを公開するのはやめよう。
今後の研究方向：
- モデルの階層を削減し、次世代の分解モデルを作成する。
現在はLORA情報を完全に取得できるが、さらに多くのLORA情報を得るには、現行の分解モデルでは不十分である。いくつか削減モデルを試みたが、問題は次々と奇妙になっていった。
もし抽出モデルを完成させられれば、この研究もようやく終わるのかもしれない。
モデルを繰り返しブレンドし、LORA情報を積み重ねて結果を観察する。量的変化が質的飛躍を生む可能性がある。ただし、SD1.5の限界に到達する可能性もある。
E階層の抽出モデルをブレンドし、情報の集約現象が起きるかどうかを観察する。これは仮説的な現象である。使用しているすべての素材が2年前のものであるため、モデルの挙動も当時のものと同様になるはずだが、実際にはそうではない。
モデルを固定化する。モデルのブレンドを繰り返すと、モデルの認識が固化する可能性がある。これを活用すれば、モデルのテーマを固定できるかもしれない。
とにかく、研究ってめっちゃ面倒だ。ブレンド実験、分類テスト、どれもめんどくさい。毎日10時間以上パソコンの前に座っているのに、チェアもない。外出する時間もないし、ゲームもできない。毎日画像の違いを探して、モデルのブレンド回数はすでに8万回を超えた。視力もどんどん悪化している。研究してるって言われても、誰が信じる？自分自身も信じられない。AIに関する情報を見るだけで気持ちが悪くなる。自分がやっていることすべてが無意味で、ただ時間を無駄にしているように感じる。一人で研究する話はカッコよくて面白いし、文学作品の変態科学者みたいだけど、「ハハハ、ノー！」って言いたい。もう二度とこんなことしたくない！
以下が研究成果のデモページです：
モデル分解研究ページ Model Deconstruction Research Page
LORA抽出デモページ Lora extraction demonstration page