Geeky Ghost AI Voice Assistant Workflow

최신 버전: v4.20 — 4.2과 혼동하지 마세요(저는 4.2을 넘기고 싶지 않아서 죄송합니다 lol). 이미지를 복제하기 위해 Any Node를 추가했습니다. 큰 변화는 아니지만, 이제 wav2lip의 단일 이미지 버전이 되었습니다. 따라서 wav2lip 비디오를 만들기 위해 단 하나의 이미지만 있으면 됩니다. 다른 방법들도 있지만, 이건 테스트였고 작동했으니 왜 안 써보겠습니까? 단일 이미지 버전.

최고 버전 - v4.2 - 이제 wav2lip을 워크플로우에 추가했습니다. 누군가 이미 작동하는 노드를 만들었고, 이제 비디오를 불러와서 Whisper로 어시스턴트의 음성을 생성할 수 있으며, 이제 음성이 있는 애니메이션 아바타를 갖게 됩니다. 재미있는 워크플로우였고, 이를 조합하는 과정이 정말 흥미로웠습니다 lol. LLM 프로필을 구성하고, 서로 다른 커넥터를 제자리가 아닌 곳에 연결해보았습니다. 이 워크플로우 내에서 좋은 오디오를 얻을 수 있는 유일한 노드는 "Play sound (loop)"입니다. 경로를 입력으로 변환한 후, Whisper의 wav 출력을 Play sound의 입력으로 사용해야 합니다. 이렇게 하면 음성이 재생되어 들을 수 있습니다.

그 후, 업로드한 비디오와 함께 wav2lip에 전송하여 비디오를 생성합니다. 노드는 작동하지만, Forge와 Auto보다는 아직 낫지 않습니다. 그러나 노드 제작자는 훌륭한 작업을 했습니다. 여기서부터 더 나아갈 수밖에 없고, 지금 상태도 괜찮습니다 lol.

이전 버전-------------

음성을 wav2lip과 SadTalker에 통과시켜 재미로 실험하고, 제가 만들었던 오래된 캐릭터를 다윈의 얼굴로 사용했습니다.

더 많은 그룹과 설명 노트를 추가했습니다.

텍스트 또는 음성으로 AI 어시스턴트.

인페인팅 및 아웃페인팅

SVD, Cascade, AnimateDiff

스프라이트시트 생성기

.ogg 오디오 파일을 학습 데이터로 사용하여 음성 생성 (Whisper to Speech 사용, 보컬만 있는 오디오, 3분 정도로도 괜찮지만, 예시에서처럼 10분이 더 나은 듯합니다).

제 레이어링 그룹 노드 설정을 추가했습니다.

음성 어시스턴트 테스트 워크플로우. Rosebud AI 워크플로우용 일부 노드를 시험 중입니다. Darwin은 커스텀 성격이므로 포함되지 않습니다.

Ollama가 설치되고 실행되어야 합니다.

Impact Frames 또는 IF 노드가 이를 가능하게 합니다.

작업 중입니다.