SDXL Rec. 2100 PQ VAE for HDR

これはSDXL用の新しいVAEで、HDR画像を可能にするためにRec. 2100 PQカラー空間で画像を出力します。これを使用するには、これを活用するモデルまたはLoRAと併用してください。

重要:

• このVAEはそのままでは正しい画像を生成しません。間違ったカラー空間と解釈されるため、生成後に手動で画像のカラー空間を変更する必要があります。そうでないと、画像は灰っぽく退屈に見えます。

• 現在、HDRをサポートしているのはChromiumベースのブラウザのみであり、HDR対応モニターを使用してHDRを有効にしている場合にのみHDR効果を得られます。

• HDRにはより高いビット深度が必要であり、24ビットカラーではポスタリゼーションアーティファクトが発生する可能性があります。SDR画像を作成する場合は、より高品質な結果を得るために通常のVAEを使用してください。

理由:

LoRAはモデルのスタイルを変更するために使用できますが、この方法で新しいカラー空間を近似することは可能でも、知っているすべての概念を正確にマッピングできるとは限りません。たとえば「赤いドレス」といった色を指定するプロンプトは、古い表現に基づいて間違った色を生成する原因になります。このVAEは、元の潜在表現をこれまで通り維持しつつ、「赤」の色をVAE内で新しいカラー空間にマップするように訓練されています。これにより、LoRAの訓練ですべてのエッジケースを処理しようとするよりもはるかに堅牢です。

HDRをサポートするため、LoRAはHDRに関連する概念の潜在表現を通常のSDR範囲外に押し出すように訓練されています。

ツール:

このVAEには、カラー空間を指定する新しいメタデータエントリが含まれています:

'modelspec.color_space': 'cicp:9,16,0,true',

これはまだ標準化されておらず、画像生成器は画像をsRGBと誤解します。正しい見た目の画像を生成するには、手動で画像を修正する必要があります。

PNGファイルのカラー空間を上書きするため、以下のPythonスクリプトを作成しました:

https://github.com/spillerrec/rec2100-vae-training/blob/master/mark-png-as-hdr.py

このスクリプトはHDRをサポートしないブラウザでは灰っぽい画像を生成しますが、現在のところ最も簡単な解決策です。

より優れた方法は、JPGの拡張であるUltraHDRを使用することです。これはより良いバックワード互換性を備えており、ほとんどのアプリケーションでは通常のSDR画像として表示され、対応するアプリケーションではHDRとして表示されます。近い将来、これを行う方法を提供できるよう試みます。