問題がある場合はLoRAの強度を下げてみてください。また、顔が希望通りに仕上がらない場合はADetailerの使用をお勧めします。
CivitAIでは満足のいく結果が得られていないため、ここではこのLoRAの使用をお勧めしません。