ChronoEdit 14B

LUXED AI에 참여하세요. 최고의 AI 커뮤니티: https://discord.gg/HxfP9TnctJ

💚 ChronoEdit    ｜    🖥️ GitHub    |   🤗 Hugging Face   |   🤖 Gradio Demo   |    📑 Paper

ChronoEdit: 이미지 편집 및 세계 시뮬레이션을 위한 시간적 추론
ChronoEdit-14B는 시간적 추론을 통해 물리적 인식 이미지 편집 및 액션 기반 세계 시뮬레이션을 가능하게 합니다. 이 모델은 140억 파라미터의 사전 학습된 비디오 생성 모델에서 사전 지식을 추출하고, 추론을 (i) 잠재적 궤적 노이즈 제거를 위한 비디오 추론 단계와 (ii) 궤적 토큰을 정제하는 문맥 내 편집 단계로 분리합니다. ChronoEdit-14B는 NVIDIA가 ChronoEdit 다중 모달 기반 모델 시리즈의 일환으로 개발했습니다. 이 모델은 상용 사용에 준비되어 있습니다.

ChronoEdit 파이프라인 개요. 오른쪽에서 왼쪽으로, 노이즈 제거 과정은 _시간적 추론 단계_에서 시작되며, 모델은 짧은 중간 프레임 궤적을 상상하고 노이즈를 제거합니다. 이러한 중간 프레임은 추론 토큰으로 작용하여 편집이 물리적으로 일관되게 전개되도록 안내합니다. 효율성을 위해 추론 토큰은 다음 _편집 프레임 생성 단계_에서 버려지며, 대상 프레임은 최종 편집 이미지로 더욱 정제됩니다.