KM-MIX Unexpected product
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
모든 연구가 직관에 의존하고, 얻어진 결과들조차 지나치게 추상적이어서 이해하거나 표현하기조차 어렵습니다. 연구의 출발점 자체에 문제가 있는지조차 모르겠고, 단서도 별로 없어서 반복적인 시도와 오류만 계속할 뿐입니다. 이것을 연구라 부르기는 무리이고, 암호 해독 게임에서 무작위로 비밀번호를 뚫는 것처럼 품위 없는 작업에 가깝습니다.
최근 업데이트부터 매우 오랜 시간이 지났으므로, 최근 연구 결과를 정리해 공유하겠습니다.
이론적 측면에서는 큰 돌파구를 이루었지만, 실용적 측면에서는 여전히 실패했습니다. 여전히 여러 LoRA를 효과적으로 혼합하지 못하고 있습니다.
이제는 모델과 LoRA에 대해 추상적인 이해를 해주셨으면 합니다. 그렇지 않으면 이 연구 결과들을 설명하기가 매우 어렵습니다.
LoRA의 본질은 일종의 기억입니다. 모델이 LoRA를 훈련할 때 이미지에 대해 습득한 인식입니다.
그러나 LoRA 중에서 이 '지식' 단계에 도달하는 것은 극히 적습니다.
모델과 인간의 사고에는 실제로 몇 가지 유사점이 있습니다.
사람: 관찰 → 기억 → 상상
모델: 훈련 → 주석 달기 → 생성
네, 너무 말이 안 되죠? 저도 더 이상 설명할 힘이 없습니다.
모델 계층 및 LoRA 정보 계층
이미지-이미지 테스트를 통해 LoRA 가중치를 증가시키는 과정에서 그래픽 변화 패턴을 눈치챘을 것입니다. 이 현상은 모델을 반복적으로 해체하는 과정을 통해 재현할 수 있으며, 이를 바탕으로 저는 모델을 A~E의 5개 계층으로 구분했습니다.
초기 해체 모델은 대체로 C급 기반 모델과 손상된 A급 스타일 모델의 조합입니다. 이 조합은 모델을 완전히 활성화하지 못하며, LoRA의 해석 및 획득에 부정적 영향을 미칩니다.
그러나 E급은 특별합니다. A~D 계층이 모델이 의식적으로 이해하는 정보라면, E계층은 모델의 무의식입니다. 즉, 모델 훈련 과정에서 레이블되지 않은 정보입니다. 네, 모두 너무 추상적이죠. LoRA 역시 유사한 행동을 보입니다.
LoRA를 추가로 분석할 때, LoRA의 정보 계층이 모델의 활성화 계층보다 높으면 후속 혼합 과정에서 수치 오버플로우가 발생합니다. 반대로 LoRA의 정보 계층이 모델의 활성화 계층보다 낮으면 LoRA 가중치를 매우 높게 설정할 수 있습니다(예: 9999).
모델 혼합 시, LoRA의 정보 계층이 모델의 활성화 계층보다 높으면 모델은 LoRA 정보를 두드러지게 강조합니다. 낮다면 일반적으로 LoRA 정보를 정상적으로 획득합니다.
이 정도만 먼저 공유하겠습니다. 나머지 연구 내용은 아직 확실한 검증을 거치지 못했고, 단지 아이디어, 추측, 개인적인 감각에 불과합니다. 연구를 시작한 지 벌써 2년이나 지났으니, 초기처럼 미성숙한 이론과 모델을 발표할 수는 없습니다.
향후 연구 방향:
- 모델 계층을 축소해 신세대 해체 모델을 제작하기
현재 LoRA 정보를 완벽하게 추출할 수 있지만, 더 많은 LoRA 정보를 얻기 위해서는 현재의 해체 모델로는 부족합니다. 몇 가지 축소 모델을 시도해 보았지만, 문제점은 하나하나 더 기이해졌습니다. 추출 모델을 완성할 수 있다면, 이 연구는 마침내 끝날 수 있을까요?
모델 혼합을 반복하며 LoRA 정보를 쌓아 올리고 결과를 관찰하기. 양적 변화가 질적 변화를 일으킬 수 있을지, 혹은 SD1.5의 한계에 도달할지 시도해 보겠습니다.
E계층 추출 모델을 혼합하여 정보 집합 현상이 발생하는지 관찰하기. 이는 가설적 현상입니다. 제가 사용한 모든 자료가 2년 전 것이라, 모델의 성능도 그 시대의 특징을 따라야 할 텐데, 현실은 그렇지 않습니다.
모델을 고정화하기. 모델 혼합 정보가 반복되면 모델의 인식이 고정화됩니다. 이 방법으로 모델의 주제를 고정할 수 있을 것이라 가정합니다.
결국, 연구는 너무 힘듭니다. 혼합 실험, 테스트 분류 등 모든 과정이 너무 번거롭고 지칩니다. 매일 컴퓨터 앞에 10시간 이상 앉아 있고, 의자조차 제대로 없어 허리가 아픕니다. 밖에 나갈 시간도 없고, 게임도 못 합니다. 하루종일 이미지의 차이를 찾고, 모델 혼합 횟수는 이미 8만 번을 넘겼으며, 시력도 점점 나빠지고 있습니다. 연구를 한다고 말해도 누가 믿겠습니까? 저조차도 믿지 않습니다. AI 관련 정보를 볼 때마다 기분이 나빠지고, 제가 한 모든 일이毫无意义하며 단지 시간을 낭비하고 있다는 생각만 듭니다. 혼자서 연구를 한다는 이야기는 멋지고 흥미롭고, 문학 속 광기 어린 과학자 같아 보이지만, 저는 그냥 말하고 싶습니다: “하하 아니요!” 결코 다음은 없을 것입니다!
아래는 일부 연구 성과의 데모 페이지입니다.
모델 해체 연구 페이지 Model Deconstruction Research Page
LoRA 추출 데모 페이지 LoRA Extraction Demonstration Page