danbooru 확장 태그 어노테이션!

상황은 이렇습니다. 대부분의 애니메이션 테마를 위한 Stable Diffusion 모델은 danbooru 태그를 프롬프트로 사용하여 학습됩니다. danbooru 태그는 인물의 헤어스타일부터 신발 스타일까지 포함하는 거대한 태그 집합입니다. 그러나 이 태그 집합은 균형이 잘 잡혀 있지 않으며, 배경 관련 태그는 대개 매우 적습니다. 예를 들어, 태그에는 white hair, black hair, blonde hair 등 다양한 머리카락 색상이 포함되어 있지만, 테이블은 단순히 table이라는 태그 하나만 존재하며, white table과 같은 세부 태그는 없습니다. 따라서 danbooru 태그로 학습된 모델은 배경을 잘 그리기 어렵습니다.

그렇다면 MLLM을 사용하여 이러한 데이터에 더욱 풍부한 배경 객체 태그를 부여하면, 이 문제를 해결할 수 있을까요?

한 번 시도해 봅시다!