qwen-edit-skin

TL_TL_
177
3.3K
コンセプトqwen
v1.1v1.0

詳細

ファイルをダウンロード

モデル説明

Qwen-Image-Edit-2509 における皮膚のリアルさを向上させるために微調整されたLoRA

注意：バージョン差を確認してください。たとえばバージョン1.1では、このバージョンのトレーニングの以前のステップもアップロードしています。必要に応じて、ステップ1750から2750までをダウンロードできます。各LoRAと各ステップ数の完全な比較画像を添付しましたので、ワークフローに最適なポイントをご確認ください。

以下に私が作成した比較ワークフローのダウンロードリンクを掲載します：
/model/2100345/lora-xyz-compare-workflow

このリポジトリには、画像内の人物の皮膚のリアルさと詳細を向上させるために微調整された低ランク適応（LoRA）モデルが含まれています。このLoRAは、強力なQwen/Qwen-Image-Edit-2509モデルをベースとしてトレーニングされ、その高度な画像編集機能を活用して、より自然で詳細な皮膚テクスチャの生成に特化しています。

このモデルは、AI-Toolkitを使用してローカルのRTX 5090で5000ステップトレーニングされました。結果として得られたLoRAは、写真家、デジタルアーティスト、生成または編集された画像内の人物の品質を向上させたいすべてのユーザーに最適です。

モデルの説明

qwen-edit-skin LoRAは、Qwen/Qwen-Image-Edit-2509ベースモデルの専門的微調整です。ベースモデルは、複数画像編集と単一画像の一貫性維持（特に個人のアイデンティティ保持）に優れた汎用的な画像編集ツールです。このLoRAは、その基盤を活かして、人間の皮膚の繊細なニュアンスに特化し、元の生成物には存在しない詳細とリアルさを追加します。

トレーニングは、AI ToolKit のこのフォーク版を使用して実施されました。これは、ディフュージョンモデルの微調整のための包括的なツールキットです。データセットの構築プロセスでは、被写体の皮膚詳細を以下のように逆操作しました：

  • 皮膚を露出させた多様な人物ポートレートの実写を収集

  • これらを「ターゲット」（＝最終的な結果）画像としてキャプション化。これは標準的なQwen Editワークフローで期待される最終アウトプットです。

  • Photoshopで画像を編集し、ガウシアンブラーを追加して皮膚のトーンを滑らかにし、皮膚のテクスチャ、トーン、毛穴を見えにくくする

  • これらを「コントロール」（＝編集前の状態）画像としてQwen Editのトレーニングに使用

トレーニングの詳細

モデルは以下の主要なパラメータで微調整され、これらは添付のconfig.yamlファイルで確認できます。

ハードウェア：

  • GPU： NVIDIA RTX 5090

トレーニング設定：

  • トレーニングステップ： 5000

  • バッチサイズ： 1

  • 勾配蓄積： 1

  • 学習率： 1.0e-04

  • オプティマイザ： adamw8bit

  • ノイズスケジューラ： flowmatch

  • 解像度： モデルは512、768、1024ピクセルの解像度を持つデータセットでトレーニングされました。

  • 精度： bf16

ネットワークアーキテクチャ：

  • タイプ： LoRA

  • 線形層のランクとアルファ： 16

  • 畳み込み層のランクとアルファ： 16

オプティマイザとしてadamw8bitを選択したのは、トレーニングプロセスのメモリ使用量を削減し、パフォーマンスを犠牲にすることなく、一般消費者向けハードウェアでの効率的な微調整を可能にするためです。flowmatchノイズスケジューラは、現代的な手法で、トレーニングの効率化と高品質な画像生成を実現します。

LoRAアーキテクチャの注目点は、線形層および畳み込み層の両方のアルファ値が、それぞれのランク（16）と等しく設定されていることです。このバランスの取れたアプローチは、LoRAトレーニングの一般的な出発点であり、学習された適応を比例したスケーリング係数で適用することで、過学習を防ぎつつ、モデルが望ましい新規特徴を効果的に学習できるようにします。

使用方法

このLoRAを使用するには、ベースモデルQwen/Qwen-Image-Edit-2509を読み込み、qwen-edit-skin.safetensorsとしてロードされた微調整済みLoRA重みを適用してください。以前のステップの重みも参照用にアップロードされていますが、最終版はqwen-edit-skin.safetensorsです。リポジトリに添付されたComfyUI用の例ワークフローを利用して、異なる重みの結果を比較することもできます。

推奨される重みは1〜1.5の範囲です。提供された例では、LoRAの効果を明確に示すために最大2まで使用していますが、これは効果に過剰な強度を適用したものです。

目的用途

このLoRAは、デジタル画像における人間の皮膚のリアルさを向上させるための創造的・芸術的用途を目的としています。以下のようなユーザーに活用できます：

  • デジタルアーティスト： キャラクターの皮膚に繊細なディテールとテクスチャを追加

  • 写真家： ポートレートの修正と強化

  • AIアート愛好家： より生々しい人物画像の生成

制限とバイアス

このモデルは大規模な事前学習モデルの微調整版であり、その内在するバイアスを一部引き継いでいる可能性があります。このLoRAのトレーニングデータセットは皮膚のディテール向上に焦点を当てており、人間の肌の色やタイプの多様性を平等にカバーしているわけではありません。ユーザーはこの点を認識し、責任を持ってモデルを使用してください。モデルの出力は入力プロンプトに影響されるため、生成プロセスをガイドするために、記述的で包括的な言語の使用を推奨します。

免責事項： このモデルは芸術的・創造的用途を目的としています。ユーザーは自身が生成するコンテンツの責任を負い、倫理的ガイドラインに従い、個人のプライバシーと尊厳を尊重する必要があります。

トリガーワード

画像生成をトリガーするには、make the subjects skin details more prominent and natural を使用してください。

このモデルで生成された画像

画像が見つかりません。