simple and efficient model mixing method

シンプルで効率的なモデルの混合。

これは私が独自に開発したモデル混合手法です。まずは私の発見を共有したいと思います。皆さんの混合方法も気になります。

Simple and efficient model blending

This is a model blending method I developed myself. In short, I just wanted to share my findings, and I'm also curious about your methods for blending models

混合の原理は、モデル混合における過学習現象を利用し、それを基に深く研究しました。

したがって、この混合手法はすべてのAIモデルに適用可能である可能性が高いです。そうであることを願っていますが、明らかにこれを検証するのは少し難しいです。

The mixing principle makes use of the over-fitting phenomenon of model mixing, and on this basis, it is deeply studied.

So this hybrid approach is likely to be common to all AI models. I hope so, but it's obviously a little hard to verify.

私の理想では、この混合方式はモデル混合の最大の課題である素材の不足を解決できます。

In my vision, this hybrid approach can address the biggest issue troubling model mixing, which is the lack of materials

研究の障壁はたくさんあります。バージョンの遅れ、マイナーな分野、参照情報の不足、素材の限界、支援の欠如、さらにはまだ誰も提唱していない発見や仮説も存在します。現在の最大の問題は時間や個人の能力ではなく、これらです。とにかく、試してみる気がありますか？未知の領域を探索するのはとても面白いものです。

There are many obstacles in research, such as outdated versions, niche fields, lack of references, limited materials, no support, and even some discoveries and hypotheses that no one has proposed yet. The biggest issues right now are not time or personal ability. In any case, are you interested in giving it a try? Exploring the unknown can be quite fun

以下に、関連する研究情報を追加します。

I will now provide some additional research information

LORAの混合重み

ほとんどのLORAの最大重みは50～100の範囲にあり、この範囲を超えると数値オーバーフローが発生するため、数値オーバーフロー検出（nan-check）を有効にする必要があります

Lora's mixed weights

The maximum weight of most Lora is in the range of 50 to 100. Exceeding this range may lead to numerical overflow, so it is necessary to enable numerical overflow detection (nan-check)

LORAの重み段階

LORAの重み値が増加するにつれて、LORAは以下の段階的な変化を示します。

1. モデル情報が支配的。

2. LORA情報が支配的で、モデル情報が補完的。

3. LORA情報が支配的。

4. ノイズ

5. 数値オーバーフロー

The weight stage of Lora

As the Lora weight values increase, Lora will undergo the following stages of change

1. Model information is dominant

2. Lora information is dominant, while model information is supplementary

3. Lora is information-driven

4 noise points

5 numerical overflow

各LORAには異なる最大重みがあり、私はこの最大重みを「学習深度」と呼んでいます。

Each Lora has a different maximum weight, which I refer to as learning depth

以下に混合の詳細を説明します。

I will now explain the mixed details

1. LORAの重みをなぜこれほど高く設定するのか

LORAの重みは混合時のモデルの割合を表しており、余計なモデルの影響を避けるために高く設定します。

1.Why do Lora weights need to be set so high

The weight of Lora represents the proportion of the model during mixing, and increasing it is to avoid the influence of unnecessary models

2. モデル混合におけるα値

α=-1 はLORA情報を取得するために使用します。α=-2 は取得したLORA情報を反転させます。

2.The α value for model mixing

α = -1 is used to obtain lora information. α = -2 reverses the obtained lora information

3. 既存のモデルにさらに混合を追加する方法

得られたモデルを活性化処理します。このプロセスには13回の混合が必要です。その後、次のLORAを追加できます。

Activation the obtained model, which requires 13 mixing. After that, you can add the next LoRA.

4. 混合の欠点

この混合方式はLORAのすべての情報を取得するため、混合するLORAが増えれば増えるほど、効果が不安定になります。現在、この問題の解決策は見つかっていません。

4. Mixed defects

Since this mixing method captures all the information from Lora, the more mixed Lora there is, the less stable the effect becomes. I haven't found a solution for this yet

5. 他の混合方法でも同じような効果は得られるのか

他の混合方法でも同様の効果は得られますが、この方法だけが最も高い下限を持っています。

5. Are there any other mixing methods that can achieve this effect

Other mixing methods can achieve this effect as well, but only this method has the highest lower limit

6. この混合方法の原理は何か

大量の過学習混合を通じていくつかのパターンを見つけましたが、その原理は依然として不明であり、説明すら困難です。簡単に言えば、特定の特別なモデルを用いて他のモデルの情報を抽出し、抽出されたモデルを処理するという仕組みです。

では、なぜこのような現象が起きるのでしょうか？正直、私はわかりません。

6.What is the principle behind this mixing method

I have found some patterns through extensive overfitting mixing, but the principles remain unknown and are even difficult to explain. In simple terms, it involves using certain special models to extract information from other models and then processing the extracted models.

So why do these phenomena occur? I can only answer, I don't know

その後、LORAについて多くの新たな知見を得ることになるでしょう。結論として、私の研究はすでに停滞しており、これ以上の突破は難しいと考えられます。

You will gain a lot of new insights about Lora. In short, my research has reached a standstill, and it's unlikely to have any breakthroughs.

以下はその他の関連研究ページです。ページの制限により、その他の情報は別のページで公開されます。現在編集中です。

Here are the related pages for the remaining research. Due to space limitations, the rest of the information will be published on other pages. It is still being edited

モデル分解研究ページ Model Deconstruction Research Page

/model/579793

この手法によるモデル最適化のデモページ

Demonstration page for model optimization using this method

/model/822917