Tetori(Orisries)

ゲーム『オリスリーズ』の聖教会の天使、テトーリは、合計で約300枚の混合画像を用いて訓練されました。

最初の2つのモデルは、それぞれ3,000枚と約300枚の画像で訓練されました？

---

このゲームで使用されている色は、細部が簡単に崩れてしまう原因となっているようです。これは、複数回の訓練の末に私が考案した解決策の実験です。

他の結果と比較すると、この解決策ははるかに優れているように思われます。私はコサインスケジューリングとadamw8bitの学習率調整を使用し、2回訓練を実施して、中断時に状態を保存し、継続的な訓練と調整を行いました。

まず、大きな学習率（2～5e-4）で約3～4ラウンド学習し、その後、ラウンド数を2倍にし、学習率を1e-4～5e-5の範囲に調整します。両方のケースで重量減衰（weight decay）は0.1としました。

最初に広い空間全体を素早く探索し、その後、十分に正しい状態になったら細部を補填できます。この方法は正しいように見えますか？

また、最初は一定の大きな学習率を使用し、2回目はコサインスケジュールによる小さな学習率を使用するというアイデアもあります。どちらがより効率的でしょうか？LLMやその他の技術から学びました。