Tetori(Orisries)
세부 정보
파일 다운로드
모델 설명
게임 오리스리스의 성스러운 교회 천사 테토리는 총 약 300장의 혼합 이미지로 훈련되었습니다.
첫 번째 및 두 번째 모델은 각각 3,000장과 약 300장의 이미지로 훈련되었나요?
이 게임에서 사용된 색상은 세부 사항이 쉽게 손상되는 경향이 있습니다. 이는 여러 번의 훈련 끝에 제가 고안한 해결책 실험입니다.
다른 결과들과 비교할 때, 이 해결책은 훨씬 더 나아 보입니다. 저는 코사인 스케줄링과 adamw8bit의 학습률 조정을 사용했으며, 두 번 훈련하고 중단점을 활용하여 상태를 저장하고 훈련 및 조정을 계속했습니다.
먼저 큰 학습률(25e-4)을 사용하여 약 34라운드 동안 학습한 후, 라운드 수를 두 배로 늘리고 학습률을 1e-4~5e-5 사이로 조정하며, 두 경우 모두 가중치 감쇠를 0.1로 설정했습니다.
먼저 전체적인 큰 공간을 빠르게 탐색하고, 충분히 정확해진 후 세부 사항을 채우는 방식입니다. 이 방법이 올바른 것처럼 보이나요?
또 다른 아이디어로는, 첫 번째 훈련에서는 일정한 큰 학습률을 사용하고, 두 번째 훈련에서는 코사인 감소를 사용하는 것입니다. 어느 방식이 더 효율적인가요? LLM 및 다른 기법들에서 배웠습니다.

