car_design-sketch

リリース

• v0.8: これは現在テストモデルです。サンプル画像を参照し、フィードバックをいただけると幸いです。

概要

このモデルは、車両デザインプロセス中に手描きスケッチ風のレンダリングを生成することを目的として作成されました。この課題に対応するため、一連のモデルを訓練する計画であり、これはその一環としての試みです。モデルはSDXLアーキテクチャをベースとし、DynaVision XL モデルでファインチューニングされています。

データ

約3,000枚の手描き車両画像を収集しました。現在のところ、大量の手描き車両画像に特化したウェブサイトやデータセットは存在しないようであり、データはさまざまなチャネルから収集しました。データは基本的なラベリングのみ行い、分類や人間の好みによるフィルタリングは行っていません（時間的制約により行えませんでしたが、今後行う可能性があります）。ラベリングは検証されておらず、そのまま提供します。

訓練

上記のように、訓練にはSDXLのベースモデルではなく、DynaVision XL_ Release_v0.6.1.0-bakedvaeモデルを選択しました。その理由は、SDXLベースモデルの2D性能が必ずしも優れていないと感じたためであり、特にDynaVision XLの方が優れていると判断したからです。

使用した訓練スクリプトはsd-scriptsであり、その詳細なパラメータは以下の通りです。

• base_model: dynavisionXLAllInOneStylized_releaseV0610Bakedvae.safetensors

• resolution: 1024

• max_train_epochs = 20

• device = 4090 X 2

• clip_skip = 2

• save_precision = fp16

• network_module = lycoris.kohya

• network_dim = 16

• network_alpha = 8

• train_batch_size = 16

• gradient_checkpointing = true

• gradient_accumulation_steps = 1

• real_batch_size = 32

• lr_scheduler = constant

• min_snr_gamma = 5

• multires_noise_discount = 0.3

• multires_noise_iterations = 10

• unet_lr = 2e-4

• text_encoder_lr = 2e-4

その他の注意点

現在、一部のテスト結果のみをリリースしています。ご覧いただき、ご意見や提案をいただけると、モデル改善の方向性を得ることができます。

今後の課題

• より多くの画像

• より良いラベリング

• より良いベースモデルの検討（可能性あり）

提供ツール: ChatGPT (OpenAI)