ComfyUI 훈위안 비디오 예시

• 핵심 아키텍처: Sora와 유사한 DiT(Diffusion Transformer) 아키텍처를 사용하며, 텍스트, 이미지, 모션 정보를 효과적으로 융합해 생성된 비디오 프레임 간의 일관성, 품질 및 정렬성을 향상시킵니다. 통합된 풀 어텐션 메커니즘은 다중 뷰 카메라 전환을 가능하게 하면서도 주제의 일관성을 보장합니다.
• 3D VAE: 맞춤형 3D VAE는 비디오를 압축된 잠재공간으로 변환해 이미지-투-비디오 생성을 더욱 효율적으로 만듭니다.
• 우수한 이미지-비디오-텍스트 정렬성: 이미지와 비디오 생성 모두에 뛰어난 MLLM 텍스트 인코더를 활용해 텍스트 지침을 더 잘 따르고, 세부사항을 포착하며 복잡한 추론을 수행합니다.

​

모든 워크플로우에 공통되는 모델

• clip_l.safetensors
• llava_llama3_fp8_scaled.safetensors
• hunyuan_video_vae_bf16.safetensors

ComfyUI/
├── models/
│   ├── text_encoders/
│   │   ├── clip_l.safetensors
│   │   └── llava_llama3_fp8_scaled.safetensors
│   ├── vae/
│   │   └── hunyuan_video_vae_bf16.safetensors

​

훈위안 텍스트-투-비디오 워크플로우

​

1. 워크플로우

​

2. 수동 모델 설치

ComfyUI/
├── models/
│   ├── text_encoders/
│   │   ├── clip_l.safetensors                       // Shared model
│   │   └── llava_llama3_fp8_scaled.safetensors      // Shared model
│   ├── vae/
│   │   └── hunyuan_video_vae_bf16.safetensors       // Shared model
│   └── diffusion_models/
│       └── hunyuan_video_t2v_720p_bf16.safetensors  // T2V model

​

3. 워크플로우 실행 단계

1. DualCLIPLoader 노드가 다음 모델을 로드했는지 확인하세요:
   • clip_name1: clip_l.safetensors
   • clip_name2: llava_llama3_fp8_scaled.safetensors
2. Load Diffusion Model 노드가 hunyuan_video_t2v_720p_bf16.safetensors를 로드했는지 확인하세요.
3. Load VAE 노드가 hunyuan_video_vae_bf16.safetensors를 로드했는지 확인하세요.
4. Queue 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용해 워크플로우를 실행하세요.

​

Hunyuan 이미지 기반 비디오 생성 워크플로

• v1 “concat”: 모션 유동성은 더 좋지만 이미지 가이드 준수도는 낮습니다
• v2 “replace”: v1 공개 다음 날 업데이트 되었으며, 이미지 가이드 준수도는 더 좋지만 v1에 비해 덜 역동적으로 보입니다

v1 “concat”

v2 “replace”

​

v1 및 v2 버전 공용 모델

​

V1 “concat” 이미지 기반 비디오 생성 워크플로

​

1. 워크플로 및 에셋

​

2. 관련 모델 수동 설치

ComfyUI/
├── models/
│   ├── clip_vision/
│   │   └── llava_llama3_vision.safetensors                     // I2V shared model
│   ├── text_encoders/
│   │   ├── clip_l.safetensors                                  // Shared model
│   │   └── llava_llama3_fp8_scaled.safetensors                 // Shared model
│   ├── vae/
│   │   └── hunyuan_video_vae_bf16.safetensors                  // Shared model
│   └── diffusion_models/
│       └── hunyuan_video_image_to_video_720p_bf16.safetensors  // I2V v1 "concat" version model

​

3. 워크플로 실행 단계

1. DualCLIPLoader에서 다음 모델을 로드했는지 확인하세요:
   • clip_name1: clip_l.safetensors
   • clip_name2: llava_llama3_fp8_scaled.safetensors
2. Load CLIP Vision에서 llava_llama3_vision.safetensors를 로드했는지 확인하세요
3. Load Image Model에서 hunyuan_video_image_to_video_720p_bf16.safetensors를 로드했는지 확인하세요
4. Load VAE에서 vae_name: hunyuan_video_vae_bf16.safetensors를 로드했는지 확인하세요
5. Load Diffusion Model에서 hunyuan_video_image_to_video_720p_bf16.safetensors를 로드했는지 확인하세요
6. Queue 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용하여 워크플로를 실행하세요

​

v2 “replace” 이미지 기반 비디오 생성 워크플로

​

1. 워크플로 및 에셋

​

2. 관련 모델 수동 설치

ComfyUI/
├── models/
│   ├── clip_vision/
│   │   └── llava_llama3_vision.safetensors                                // I2V shared model
│   ├── text_encoders/
│   │   ├── clip_l.safetensors                                             // Shared model
│   │   └── llava_llama3_fp8_scaled.safetensors                            // Shared model
│   ├── vae/
│   │   └── hunyuan_video_vae_bf16.safetensors                             // Shared model
│   └── diffusion_models/
│       └── hunyuan_video_v2_replace_image_to_video_720p_bf16.safetensors  // V2 "replace" version model

​

3. 워크플로 실행 단계

1. DualCLIPLoader 노드에 다음 모델이 로드되었는지 확인하세요:
   • clip_name1: clip_l.safetensors
   • clip_name2: llava_llama3_fp8_scaled.safetensors
2. Load CLIP Vision 노드에 llava_llama3_vision.safetensors가 로드되었는지 확인하세요
3. Load Image Model 노드에 hunyuan_video_image_to_video_720p_bf16.safetensors가 로드되었는지 확인하세요
4. Load VAE 노드에 hunyuan_video_vae_bf16.safetensors가 로드되었는지 확인하세요
5. Load Diffusion Model 노드에 hunyuan_video_v2_replace_image_to_video_720p_bf16.safetensors가 로드되었는지 확인하세요
6. Queue 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 눌러 워크플로를 실행하세요

​

Try It Yourself

Futuristic robot dancing ballet, dynamic motion, fast motion, fast shot, moving scene

Samurai waving sword and hitting the camera. camera angle movement, zoom in, fast scene, super fast, dynamic

flying car fastly moving and flying through the city

cyberpunk car race in night city, dynamic, super fast, fast shot