SDXL Rec. 2100 PQ VAE for HDR

이것은 SDXL용 새로운 VAE로, HDR 이미지를 가능하게 하기 위해 Rec. 2100 PQ 색공간에서 이미지를 출력합니다. 이 VAE는 이를 활용하는 모델 또는 LORA와 함께 사용해야 합니다.

중요:

• 이 VAE는 기본적으로 올바른 이미지를 생성하지 않습니다. 잘못된 색공간으로 해석되기 때문입니다. 생성 후 수동으로 이미지의 색공간을 변경해야 하며, 그렇지 않으면 이미지가 회색조로 어둡고 지루하게 보일 것입니다.

• 현재 Chromium 기반 브라우저만 HDR을 지원하며, HDR 효과를 보기 위해서는 HDR을 지원하는 모니터를 사용하고 해당 기능을 활성화해야 합니다.

• HDR은 더 높은 비트 깊이를 필요로 하며, 24비트 색상에서는 포스터리제이션 아티팩트가 발생할 수 있습니다. SDR 이미지를 생성하는 경우, 더 나은 품질을 위해 일반 VAE를 사용해야 합니다.

이유:

LORA를 사용하면 모델의 스타일을 변경할 수 있지만, 이 방식으로 새로운 색공간을 근사할 수는 있어도 알고 있는 모든 개념을 정확히 매핑하지는 못합니다. 예를 들어, "빨간 드레스"와 같은 색상을 명시하는 프롬프트는 이전의 표현 방식을 사용하려고 하면서 잘못된 색상을 생성할 수 있습니다. 이 VAE는 기존의 잠재 표현을 그대로 유지하면서, "빨간" 색상을 VAE 내에서 새로운 색공간으로 매핑하도록 학습되었습니다. 이는 LORA 학습에서 모든 예외 케이스를 처리하려는 것보다 훨씬 견고합니다.

HDR을 지원하기 위해, HDR과 직접 관련된 개념에 대해 생성된 잠재 표현을 일반 SDR 범위 밖으로 밀어내는 것만을 목표로 하는 LORA가 학습되었습니다.

도구:

이 VAE는 색공간을 지정하기 위한 새로운 메타데이터 항목을 포함합니다:

'modelspec.color_space': 'cicp:9,16,0,true',

이 항목은 아직 표준화되지 않았으며, 이미지 생성기는 이미지를 sRGB로 잘못 가정합니다. 올바른 외관의 이미지를 만들기 위해서는 수동으로 이미지를 수정해야 합니다.

PNG 파일의 색공간을 덮어쓰기 위해, 아래에서 실행할 수 있는 Python 스크립트를 제작했습니다:

https://github.com/spillerrec/rec2100-vae-training/blob/master/mark-png-as-hdr.py

이 스크립트는 HDR을 지원하지 않는 브라우저에서는 회색조 이미지를 생성하지만, 현재로서는 가장 간단한 해결책입니다.

더 나은 접근법은 JPG에 적용되는 UltraHDR을 사용하는 것입니다. 이 방식은 더 나은 후방 호환성을 제공하며, 대부분의 애플리케이션에서는 일반 SDR 이미지를 표시하고, HDR을 지원하는 애플리케이션에서는 HDR을 표시합니다. 이 기능을 곧 구현할 예정입니다.