Lumina2SDXL-L-Ollama (AutoPrompt) -IP-Adapter

https://openart.ai/workflows/indras_mirror/lumina2sdxl-l-ollama-autoprompt--ipa/AnnzsbhXmkc7K0AQzbCv

이 워크플로우는 업로드된 이미지를 받아 Ollama(Llava 1.6에 잘 작동함)를 사용하여 자동으로 이미지를 설명하고, Lumina ComfyUI 래퍼를 사용하여 잠재 공간을 SDXL Lightning로 전송합니다. 또한 최종 출력에 영향을 주기 위해 IP Adapter를 사용합니다. 최대 23GB VRAM을 사용할 수 있지만, Ollama를 제거하고 일반적으로 프롬프트를 입력하면 이 문제를 해결할 수 있습니다. 또한 SDXL-Lightning 모델을 원하는 모델(예: SD 1.5)로 변경할 수 있습니다.

https://github.com/kijai/ComfyUI-LuminaWrapper/tree/main

https://huggingface.co/Alpha-VLLM/Lumina-Next-SFT

https://ollama.com/library/llava

https://ollama.com/library/llava-phi3