Aya_Honma_NLP_V3_rouwei_v080Epsilon

ベースモデルがIllustrious本家で上手く学習できなかったためrouwei_v080Epsilonで学習しています。Aya_Honma_illustriousXL10_v10で生成した教師画像を使用しています。

qwen等、自然語キャプション学習用にキャプションファイルを付け直しました。（※一部性器が見えていた教師画像は削除し学習用キャプションのテキストファイルだけ残しています。）

json→LORAプレビュー画像、Forge用LORA設定ファイル。
json→Kohya_lora_trainer→学習設定.xmloraファイル、教師画像（一部教師画像削除）

質問来ていたので共有しておきます。

学習用テンプレートについてDIM8の軽量設定ですので版権キャラ完コピの設定ではありません。顔の形状、目の形程度しか再現できないと思います。肌の質感や体型はすべてプロンプトで制御しています。EPOもっと増やせばいつかは覚えるかもしれませんがそこまで進めたらキャラの教師画像のポーズなどに固定されると思います。

完全個人用ですが完コピの設定を置いておきます。LycorisでありDIM32の巨大LORAになります。

この設定で作ったLORAは公開もしないし完全趣味用で利用しています。
良い点は他の方が作ってくれた衣装LORAなどで質感合わせた後にベース教師画像の10％程度教師画像に混ぜて覚えさせる余裕がある。（19種類の衣装とオブジェクトまでは動作確認済み）
悪い点は学習時間がDIM32と <GradAccSteps>4</GradAccSteps>を設定しているのでめちゃめちゃ時間がかかる。EPO毎保存と時々最低lossのEPO拾って生成確認して妥協しないと生成で遊ぶ時間が無くなる。

※json20250831.zip にKohya_lora_trainer用テンプレート追加しました。

<?xml version="1.0" encoding="utf-8"?>

<TrainParams xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema">

<ModelPath>C:\Users\HP45L-02\AppData\Roaming\StabilityMatrix\Models\StableDiffusion\rouwei_v080Epsilon.safetensors</ModelPath>

<TrainImagePath>C:\trainingfolder</TrainImagePath>

<OutputPath>D:\Data\kohyaSS-log</OutputPath>

<TensorBoardLogPath>D:\Data\TensorBoardLOG</TensorBoardLogPath>

<LoraModelPath />

<LearningRate>6E-05</LearningRate>

<Resolution>1024</Resolution>

<BatchSize>2</BatchSize>

<Epochs>25</Epochs>

<NetworkDim>32</NetworkDim>

<NetworkAlpha>16</NetworkAlpha>

<RegImagePath />

<ShuffleCaptions>false</ShuffleCaptions>

<KeepTokenCount>3</KeepTokenCount>

<SaveEveryNEpochs>1</SaveEveryNEpochs>

<OptimizerType>Came</OptimizerType>

<WarmupSteps>0.05</WarmupSteps>

<LRDecaySteps>1</LRDecaySteps>

<OutputName>_rouwei_v080Epsilon_LyCORIS</OutputName>

<Comment />

<CpuThreads>1</CpuThreads>

<NoBucketUpscaling>true</NoBucketUpscaling>

<UseWarmupInit>true</UseWarmupInit>

<ClipSkip>1</ClipSkip>

<Seed>119</Seed>

<SavePrecision>fp16</SavePrecision>

<SchedulerType>cosine_with_restarts</SchedulerType>

<MinBucketResolution>320</MinBucketResolution>

<MaxBucketResolution>2048</MaxBucketResolution>

<CaptionFileExtension>.txt</CaptionFileExtension>

<VAEPath>C:\Users\HP45L-02\AppData\Roaming\StabilityMatrix\Models\VAE\sdxl_vae.safetensors</VAEPath>

<UnetLR>6E-05</UnetLR>

<TextEncoderLR>6E-06</TextEncoderLR>

<NoiseOffset>0.0357</NoiseOffset>

<Momentum>0.9</Momentum>

<advancedTrainType>None</advancedTrainType>

<CrossAttenType>xformers</CrossAttenType>

<UseGradient>true</UseGradient>

<UseWeightedCaptions>false</UseWeightedCaptions>

<DisableMmapLoadSafetensors>true</DisableMmapLoadSafetensors>

<VParameterization>false</VParameterization>

<ZeroTerminalSNR>false</ZeroTerminalSNR>

<AdaptiveNoiseScale>0</AdaptiveNoiseScale>

<MinSNRGamma>0</MinSNRGamma>

<MultiresNoiseIterations>5</MultiresNoiseIterations>

<MultiresNoiseDiscount>0.25</MultiresNoiseDiscount>

<NetworkDropout>0</NetworkDropout>

<RankDropout>0</RankDropout>

<ModuleDropout>0</ModuleDropout>

<CaptionDropout>0</CaptionDropout>

<IpNoiseGamma>0.05</IpNoiseGamma>

<CaptionTagDropout>0</CaptionTagDropout>

<ClipLDropoutRate>0</ClipLDropoutRate>

<ClipGDropoutRate>0</ClipGDropoutRate>

<T5DropoutRate>0</T5DropoutRate>

<TEBatchSize>0</TEBatchSize>

<ScaleWeightNorms>0</ScaleWeightNorms>

<ResizeInterpolationType>None</ResizeInterpolationType>

<ModuleType>LyCORIS</ModuleType>

<AlgoType>lora</AlgoType>

<ConvDim>32</ConvDim>

<ConvAlpha>16</ConvAlpha>

<UseConv2dExtend>true</UseConv2dExtend>

<DyLoRAUnit>4</DyLoRAUnit>

<DatasetConfigPath />

<TrainNorm>false</TrainNorm>

<RescaledOFT>false</RescaledOFT>

<ConstrainedOFT>false</ConstrainedOFT>

<UseScalar>false</UseScalar>

<UseTucker>false</UseTucker>

<WeightDocomposition>false</WeightDocomposition>

<UseBlockWeight>false</UseBlockWeight>

<BlockWeightIn>

<int>20</int>

<int>20</int>

<int>20</int>

<int>20</int>

<int>20</int>

<int>20</int>

<int>20</int>

<int>20</int>

<int>20</int>

<int>20</int>

<int>20</int>

<int>20</int>

</BlockWeightIn>

<BlockWeightMid>20</BlockWeightMid>

<BlockWeightMid01>20</BlockWeightMid01>

<BlockWeightMid02>20</BlockWeightMid02>

<BlockWeightOut>

<int>20</int>

<int>20</int>

<int>20</int>

<int>20</int>

<int>20</int>

<int>20</int>

<int>20</int>

<int>20</int>

<int>20</int>

<int>20</int>

<int>20</int>

<int>20</int>

</BlockWeightOut>

<BlockWeightOffsetIn>0</BlockWeightOffsetIn>

<BlockWeightOffsetOut>0</BlockWeightOffsetOut>

<BlockWeightPresetTypeIn>none</BlockWeightPresetTypeIn>

<BlockWeightPresetTypeOut>none</BlockWeightPresetTypeOut>

<BlockWeightZeroThreshold>0</BlockWeightZeroThreshold>

<UseBlockDim>false</UseBlockDim>

<BlockDimIn>

<int>16</int>

<int>16</int>

<int>16</int>

<int>16</int>

<int>16</int>

<int>16</int>

<int>16</int>

<int>16</int>

<int>16</int>

<int>16</int>

<int>16</int>

<int>16</int>

</BlockDimIn>

<BlockDimMid>16</BlockDimMid>

<BlockDimMid01>4</BlockDimMid01>

<BlockDimMid02>4</BlockDimMid02>

<BlockDimBase>4</BlockDimBase>

<BlockDimOutSDXL>4</BlockDimOutSDXL>

<BlockDimOut>

<int>16</int>

<int>16</int>

<int>16</int>

<int>16</int>

<int>16</int>

<int>16</int>

<int>16</int>

<int>16</int>

<int>16</int>

<int>16</int>

<int>16</int>

<int>16</int>

</BlockDimOut>

<BlockAlphaInM>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

</BlockAlphaInM>

<BlockAlphaMidM>4</BlockAlphaMidM>

<BlockAlphaMid01>4</BlockAlphaMid01>

<BlockAlphaMid02>4</BlockAlphaMid02>

<BlockAlphaBase>4</BlockAlphaBase>

<BlockAlphaOutSDXL>4</BlockAlphaOutSDXL>

<BlockAlphaOutM>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

<decimal>4</decimal>

</BlockAlphaOutM>

<UseColorAug>false</UseColorAug>

<UseFastLoading>true</UseFastLoading>

<DontSaveMetadata>false</DontSaveMetadata>

<UseFlipAug>false</UseFlipAug>

<CropRandomly>false</CropRandomly>

<CacheLatents>true</CacheLatents>

<CacheLatentsToDisk>true</CacheLatentsToDisk>

<HighVRAM>false</HighVRAM>

<UseAdditionalOptArgs>false</UseAdditionalOptArgs>

<DebiasedEstimation>true</DebiasedEstimation>

<LRSchedulerCycle>1</LRSchedulerCycle>

<GradAccSteps>4</GradAccSteps>

<DataLoaderThreads>1</DataLoaderThreads>

<MaxTokens>225</MaxTokens>

<mixedPrecisionType>bf16</mixedPrecisionType>

<WeightDecay>0.08</WeightDecay>

<Eps>1E-06</Eps>

<Eps1>1E-16</Eps1>

<D0>1E-06</D0>

<GrowthRate>0</GrowthRate>

<Betas0>0.9</Betas0>

<Betas1>0.999</Betas1>

<Betas2>0.999</Betas2>

<DAdaptMomentum>0.9</DAdaptMomentum>

<ProdigyBeta3>0</ProdigyBeta3>

<DCoef>1</DCoef>

<Decouple>false</Decouple>

<NoProx>false</NoProx>

<SafeguardWarmup>false</SafeguardWarmup>

<UseBiasCorrection>false</UseBiasCorrection>

<StableDiffusionType>XL</StableDiffusionType>

<NoHalfVAE>true</NoHalfVAE>

<CacheTextencoder>false</CacheTextencoder>

<CacheTextencoderToDisk>false</CacheTextencoderToDisk>

<IsEpoch>true</IsEpoch>

<UseFullFP16>false</UseFullFP16>

<UseFP8Base>false</UseFP8Base>

<RelativeStep>true</RelativeStep>

<ScaleParameter>true</ScaleParameter>

<SaveState>false</SaveState>

<MaskLoss>false</MaskLoss>

<AlphaMask>false</AlphaMask>

<RandomNoiseOffset>false</RandomNoiseOffset>

<RandomIpNoiseGamma>false</RandomIpNoiseGamma>

<SaveWeightEveryEpoch>true</SaveWeightEveryEpoch>

<TokensSeparator />

<LossType>LTwo</LossType>

<HuberScheduleType>SNR</HuberScheduleType>

<HuberC>0.1</HuberC>

<LoRAPlusLRRatio>0</LoRAPlusLRRatio>

<LoRAPlusUnetLRRatio>0</LoRAPlusUnetLRRatio>

<LoRAPlusTELRRatio>0</LoRAPlusTELRRatio>

<ImmiscibleNoise>0</ImmiscibleNoise>

<CustomCommands />

<AdditionalArgs />

<AdditionalNetworkArgs>preset=attn-mlp</AdditionalNetworkArgs>

<CustomOptName />

<CustomOptArgs />

<Sigmoidscale>1</Sigmoidscale>

<DiscreteFlowShift>3</DiscreteFlowShift>

<GuidanceScale>0</GuidanceScale>

<MaxTokensT5>256</MaxTokensT5>

<BlocksToSwap>0</BlocksToSwap>

<ModelPredictionType>Raw</ModelPredictionType>

<TimestepSamplingType>Sigma</TimestepSamplingType>

<TrainBlockType>All</TrainBlockType>

<SplitMode>false</SplitMode>

<ApplyT5AttnMask>false</ApplyT5AttnMask>

<TrainT5XXL>false</TrainT5XXL>

<CpuOffloadCheckpointing>false</CpuOffloadCheckpointing>

<ApplyClipAttnMask>false</ApplyClipAttnMask>

<ClipLPath />

<T5XXLPath />

<ClipGPath />

<SchedulerTimescale>1</SchedulerTimescale>

<MinLRRatio>0.0001</MinLRRatio>

</TrainParams>