Ir al contenido

NaN Video Pipeline

De un tema a un video corto narrado (9:16), de principio a fin, usando únicamente los modelos del cluster NaN. Guion, imágenes, voz, subtítulos y render — sin servicios externos.

Video demo producido por el pipeline

Tema → guion → selección visual → voz → subtítulos → composición → MP4 (9:16)

Toda la información de un video vive en una estructura de datos central (el Storyboard, un YAML editable). Cada etapa la consume y la enriquece con un modelo distinto del cluster.

1 · Guion

qwen3.6 escribe un storyboard estructurado y validado: escenas, narración, textos en pantalla y dirección de arte.

2 · Selección visual

Los providers (Wikimedia, Pexels, pool local) traen candidatas; qwen3-embedding pre-rankea y gemma4 elige mirando los píxeles reales.

3 · Voz

kokoro narra en español; ffmpeg re-encodea a estéreo y se mide la duración real del audio.

4 · Subtítulos

whisper transcribe; una alineación LCS contra el texto canónico genera SRT estilo CapCut.

5 · Composición

Manifest + HTML animado con GSAP + assets en un workspace de render portable, con preview de doble click.

6 · Render

HyperFrames captura el HTML animado frame a frame → video silencioso 1080×1920.

7 · Mux

ffmpeg une video y narración → assets/output/<slug>.mp4 listo para publicar.

  • Solo modelos NaN: chat, visión, TTS, STT y embeddings del mismo cluster, por la misma API OpenAI-compatible.
  • Grounded, no alucinado: el caso demo se escribe a mano sobre la documentación oficial; el material visual es archivo real o imágenes generadas y curadas — el modelo de visión solo elige, no inventa.
  • Datos, no código: un caso es un YAML en content/; el pipeline entero se ejecuta con yarn produce.