PAN 2 en ComfyUI: video IA de 20 segundos, gratis y Apache 2.0

PAN 2 en ComfyUI: video IA de 20 segundos, gratis y Apache 2.0

In qualità di Affiliato Amazon io ricevo un guadagno dagli acquisti idonei.As an Amazon Associate I earn from qualifying purchases.En calidad de Afiliado de Amazon, obtengo ingresos por las compras adscritas que cumplen los requisitos aplicables.

PAN 2 en ComfyUI es de esas noticias que marean: un modelo de video gratuito, con licencia Apache 2.0, que genera clips de hasta 20 segundos a partir de un texto o de una imagen. Lo creó el Institute of Foundation Models de MBZUAI, la universidad de Abu Dabi dedicada a la inteligencia artificial, y desde el 15 de noviembre ComfyUI lo admite directamente, sin nodos externos. La v0.46.0 del 18 de noviembre lo incluye entre las novedades oficiales.

Antes de correr a descargarlo, te contamos cómo lo vemos. Nosotros trabajamos en local con una RTX 3060 de 12 GB de lo más normal y 32 GB de RAM, y PAN 2 es un modelo de 29.000 millones de parámetros: el archivo más ligero para ComfyUI pesa 26,7 GB. No lo hemos probado y, con los números en la mano, hacerlo funcionar en una tarjeta así es muy difícil. Aun así vale la pena conocerlo, porque razona de forma distinta a los demás generadores de video y su licencia es de las más abiertas que hay. Aquí tienes lo que está confirmado, lo que hace falta de verdad y cómo se escribe el prompt.

Qué esUn "modelo del mundo" que genera video a partir de texto o de un fotograma inicial, hasta 20 segundos a 704×1248 y 24 fps
Quién lo creóEl Institute of Foundation Models de MBZUAI (Emiratos Árabes Unidos)
Memoria de video necesariano declarada; el archivo int8 para ComfyUI pesa 26,7 GB, más 9,75 GB del codificador de texto
¿Funciona en una RTX 3060 de 12 GB?no declarado; sobre el papel es muy difícil, y todavía no existe una versión GGUF más ligera
LicenciaApache 2.0 para código y pesos; el VAE de Wan 2.2 y Qwen3.5-9B tienen sus propias licencias
Uso comercial desde Italiasí, la licencia Apache 2.0 no pone límites comerciales ni geográficos
Dónde descargarloHugging Face: repositorio oficial IFM/PAN2 y repack Comfy-Org/PAN2
Gratis o de pagogratis, funciona en tu PC

¿Qué es PAN 2 y por qué lo llaman "modelo del mundo"?

PAN 2 es un generador de video que primero "piensa" la escena y luego la dibuja. Le das una acción, por ejemplo "el gato salta a la mesa y tira el vaso", y si quieres un fotograma de partida. Un modelo de lenguaje (Qwen3.5-9B, congelado y sin reentrenar) reescribe la petición como una descripción estructurada del estado del mundo: qué pasa, en qué orden, quién hace cada acción, cómo se mueve la cámara. Después una red MMDiT de 29.000 millones de parámetros (una arquitectura que procesa texto e imagen juntos) genera el video, y el VAE de Wan 2.2 lo decodifica (el VAE es la pieza que convierte los datos comprimidos del modelo en fotogramas reales).

De ahí viene el término "modelo del mundo": el objetivo es simular qué ocurre después de una acción, con una física creíble, más que producir un plano bonito. Según la ficha oficial en Hugging Face, la salida estándar es 704×1248 a 24 fotogramas por segundo: 241 fotogramas (unos 10 segundos) por defecto, hasta 481 para llegar a 20 segundos. Los autores son honestos con los límites: más o menos dos de cada tres planes de acción tienen al menos un paso que el modelo no ejecuta, y en las secuencias largas el aspecto de los sujetos tiende a cambiar.

¿Cuánta VRAM necesita PAN 2 en ComfyUI?

No hay un requisito oficial de VRAM (la memoria de la tarjeta gráfica), pero los archivos lo dicen todo. En el repack de Comfy-Org encuentras estas versiones:

  • pan2_int8_convrot: 26,7 GB, la versión comprimida en int8 (enteros de 8 bits, más ligeros que el original);
  • pan2_bf16: 67,4 GB, la calidad completa;
  • qwen3.5_9b_int8_convrot: 9,75 GB, el codificador de texto (en bf16 son 19,3 GB);
  • wan2.2_vae: 1,4 GB.

El trabajo hecho para integrarlo en el núcleo reduce bastante la memoria de cálculo: con 241 fotogramas el pico de activaciones baja de 12,5 a 3,8 GB, según el artículo de ComfyUI Wiki sobre el soporte nativo. Pero el modelo de 26,7 GB sigue ahí, y en una tarjeta de 12 GB hay que cargarlo por partes desde la RAM del sistema, que además tiene que alojar el codificador de texto. Con 32 GB de RAM estamos al límite, y por eso no lo recomendamos en configuraciones como la nuestra. También hay un repack de la comunidad en formato NVFP4 de 16,3 GB, pero NVFP4 es un formato pensado para las tarjetas NVIDIA de la serie RTX 50: si estás pensando en cambiar de equipo, en nuestra guía de tarjetas gráficas para IA tienes la comparación entre modelos y rangos de precio.

Sobre el tiempo, el único dato publicado es de una RTX 5090: 15,2 segundos por paso con pesos y atención en int8, 26,8 segundos por paso en versión densa, con 241 fotogramas. Con los 50 pasos recomendados son unos 12-13 minutos solo de muestreo para un clip de 10 segundos, en la tarjeta de consumo más potente que existe. En tarjetas más pequeñas los tiempos crecen mucho.

¿Cómo se usa PAN 2 en ComfyUI sin nodos externos?

Necesitas una versión de ComfyUI posterior a la v0.45.0 y luego armar el grafo con nodos estándar, porque todavía no hay una plantilla oficial. La cadena que indica ComfyUI Wiki es esta:

  1. Load Diffusion Model (UNETLoader) con pan2_int8_convrot.safetensors en la carpeta models/diffusion_models;
  2. Load CLIP con qwen3.5_9b_int8_convrot.safetensors y el tipo configurado en pan2;
  3. CLIP Text Encode para el prompt;
  4. para partir de una imagen, el nodo Wan22ImageToVideoLatent, el mismo de Wan 2.2, que usa la foto como primer fotograma;
  5. KSampler con 50 pasos, sampler euler, scheduler simple, CFG 2.5 y shift 9 (los valores del código original);
  6. VAE Decode con wan2.2_vae.safetensors y Create Video a 24 fps.

Si es la primera vez que armas un flujo de nodos, empieza por nuestra guía de introducción a ComfyUI. Después de actualizar, si aparecen nodos rojos o errores de memoria agotada, la guía de errores de ComfyUI explica cómo salir del paso. Como alternativa está el paquete de la comunidad ComfyUI-PAN2, publicado el 11 de noviembre, que añade un nodo PAN2 Prompt Builder para rellenar el prompt por campos.

¿Por qué con PAN 2 no funciona un prompt de una línea?

Porque el modelo se entrenó con descripciones estructuradas, no con frases cortas. ComfyUI Wiki cuenta que un prompt de una línea, incluso el del ejemplo oficial, devuelve clips deslavados o ruido. Hay que dar seis datos: la escena, el evento, el sujeto, la luz, el punto de vista y el estilo. Los nombres exactos de los campos no están documentados, así que lo más seguro es usar el Prompt Builder del paquete ComfyUI-PAN2, o escribir un texto ordenado como este ejemplo nuestro:

Scene: a small wooden kitchen in the morning, a glass of water on the table.
Event: 0-4 s the cat walks to the table; 4-7 s it jumps on the table; 7-10 s the glass tips over and water spills.
Subject: an orange tabby cat.
Lighting: warm sunlight from the window on the left.
Viewpoint: static camera at table height, medium shot.
Style: realistic, natural colors.

Las acciones con sus tiempos ayudan al modelo a seguir el orden de los eventos. Mejor escribir en inglés, porque es el idioma de los datos de entrenamiento que describe la ficha.

¿Se puede usar PAN 2 para trabajar?

Sí: el código y los pesos de PAN 2 se publican con licencia Apache 2.0, que permite el uso comercial también desde Italia y la Unión Europea. Es una diferencia importante frente a otros modelos recientes, como MiniMax H3-Image, cuya licencia excluye la UE. Solo ten cuidado con los componentes de terceros (el VAE de Wan 2.2 y Qwen3.5-9B), que tienen licencias propias: la ficha oficial remite a los archivos NOTICE y THIRD_PARTY_LICENSES. En nuestra guía de modelos de IA para video en ComfyUI encuentras la comparación con Wan, LTX y los demás, licencias incluidas.

Para probar ya

Si tienes una tarjeta de 24 GB o más y al menos 64 GB de RAM, este es el camino más corto:

  1. actualiza ComfyUI a la v0.46.0 o posterior;
  2. descarga de Comfy-Org/PAN2 el modelo int8, el codificador Qwen3.5-9B int8 y el VAE de Wan 2.2, cada uno en su carpeta;
  3. haz una primera prueba corta y pequeña (pocos fotogramas, resolución reducida) para medir los tiempos en tu tarjeta;
  4. solo después pasa a los 241 fotogramas, con un prompt estructurado como el de arriba.

Para ver el resultado antes de descargar más de 37 GB de archivos, mira dos videos publicados estos días: "PAN2 A Local World Video Model Know About Physics! Try It In ComfyUI" de Benji's AI Playground y "PAN 2: NEW AI World Model! Full Tutorial in ComfyUI (T2V & I2V)" de The Ai Blueprint. Con 12 GB de VRAM, para video en local siguen siendo más prácticos modelos como LTX o Wan 2.2 en versión GGUF; para personajes que hablan está LongCat Avatar 1.6, el avatar que habla a partir de foto y voz.

Otras novedades

  • Suno Visuals: desde el 17 de noviembre Suno crea clips de video de hasta 15 segundos a partir de tus canciones, además de videos con la letra y portadas. Los créditos de video van aparte de los de música (anuncio de Suno).
  • MAI-Image-2.7: en la conferencia Ignite del 17 de noviembre Microsoft presentó siete nuevos modelos MAI, entre ellos este modelo para crear y editar imágenes, con una versión Flash más barata (Thurrott).
  • ComfyUI v0.46.0: además de PAN 2, la versión del 18 de noviembre añade el nodo Split Image Channels para separar los canales de una imagen y lleva Qwen3-1.7B al nodo Generate Text (changelog oficial).

Preguntas frecuentes

¿PAN 2 es gratis?

Sí. El código y los pesos se descargan de Hugging Face con licencia Apache 2.0 y el modelo funciona en tu computadora, sin suscripciones ni créditos. El costo real es el hardware: hace falta una tarjeta gráfica con mucha memoria, bastante RAM y al menos 37 GB de espacio libre para la versión int8.

¿PAN 2 funciona en una tarjeta de 12 GB?

No hay un dato oficial y no lo hemos probado. El modelo int8 pesa 26,7 GB, más del doble de la memoria de una RTX 3060, y hay que cargarlo por partes desde la RAM junto con el codificador de texto de 9,75 GB. Con 32 GB de RAM está al límite; hasta que salga una versión GGUF más ligera, no lo recomendamos.

¿Cuánto dura un video de PAN 2?

Hasta 20 segundos en un solo clip, es decir, 481 fotogramas a 24 fps. El valor predeterminado es 241 fotogramas, unos 10 segundos. La resolución estándar es 704×1248. En una RTX 5090 un clip de 10 segundos necesita unos 12-13 minutos de muestreo con los 50 pasos recomendados.

¿Hace falta un nodo personalizado para PAN 2?

No. Desde la PR integrada el 15 de noviembre, PAN 2 funciona con los nodos estándar de ComfyUI: Load Diffusion Model, Load CLIP con tipo pan2, KSampler y VAE Decode. El paquete de la comunidad ComfyUI-PAN2 sigue siendo útil por su Prompt Builder, que ayuda a escribir el prompt estructurado que pide el modelo.

Si quieres seguir las pruebas que hacemos de verdad en nuestra RTX 3060, suscríbete al canal de YouTube @tutorial3d y descarga los workflows gratuitos de la sección ComfyUI del sitio.

Tutorial3d
Grafico - Videodesigner - VisualFX

Ti consigliamo anche:



#Devo averlo!

VIDEO

INSPIRATION IN YOUR INBOX

Una mail. Un tutorial. Niente rumore.

Ti scrivo un solo tutorial scelto, con file progetto e note tecniche. Senza promozioni, senza affiliate. Cancellabile in un click.

[newsletter_form]