Esta vez hablamos sobre todo de audio. ElevenLabs ha lanzado Eleven v4, sus voces más expresivas, y ComfyUI ya tiene listas las plantillas para usarlas (el nodo está en camino). Para el vídeo, un grupo de Texas A&M y ByteDance lleva MiniMax H3 de 50 a 4 pasos con DMAD. Y si usas ComfyUI con Qwen-Image 2.1, llega una corrección que esperabas: la 0.38.1 soluciona el cuelgue con la caché int8.
En breve
- Eleven v4: nuevas voces de ElevenLabs con etiquetas de interpretación, diálogos a varias voces y más de 90 idiomas; las plantillas para ComfyUI ya están, el nodo partner está en revisión.
- DMAD: dos LoRA que hacen que MiniMax H3 genere vídeo con audio en 4 pasos en lugar de 50; Kijai ya las ha convertido para ComfyUI.
- ComfyUI 0.38.1 y 0.38.2: corregido el cuelgue de Qwen-Image 2.1 con caché int8/int4; en la rama de desarrollo los nodos Luma Ray 2 se jubilan el 24 de octubre.
- Stability AI: según TechCrunch, la empresa de Stable Diffusion se está reconstruyendo en torno a la música, con el respaldo de las tres grandes discográficas.
Eleven v4: voces que interpretan, no que leen
El 28 de septiembre ElevenLabs presentó Eleven v4 y la variante rápida Eleven v4 Turbo (anuncio oficial). La idea es que el modelo entienda el tono a partir del texto, en lugar de leerlo de forma plana. Las novedades más útiles para quien hace vídeo:
- etiquetas en el texto como
[laughs]o sonidos ambientales como[light rain], más indicaciones de interpretación escritas en lenguaje natural; - diálogos a varias voces en los que quien habla responde a lo que se acaba de decir, útil para anuncios y animaciones;
- más de 90 idiomas, con la posibilidad de que la misma voz hable en distintos idiomas manteniendo su identidad;
- clonación de voz a partir de unos 10 segundos de audio y vuelta de los clones profesionales, que faltaban en la v3.
Es un servicio online: se prueba con una cuenta gratuita y, hasta el 12 de octubre, ElevenLabs triplica los créditos en los planes Creator y superiores. Para ComfyUI la situación es esta: las plantillas "speech" y "dialogue" para Eleven v4 ya están en el paquete 0.11.76, mientras que el nodo partner con los modelos v4 y v4 Turbo sigue en revisión. Será de pago, con los créditos de Comfy.
Qué opinamos. Para las locuciones de tutoriales, anuncios y presentaciones, la calidad de ElevenLabs es desde hace tiempo la referencia, y las etiquetas de interpretación ahorran muchos intentos. Pero es en la nube y de pago por uso: si haces muchos minutos de voz al mes, los costes suben. Tenerlo dentro de ComfyUI es cómodo para juntar voz y vídeo en el mismo workflow; para quien quiere quedarse en local, la alternativa son los modelos de síntesis de voz abiertos, que hay que valorar caso por caso en italiano.
DMAD: MiniMax H3 en 4 pasos, audio incluido
Investigadores de la Texas A&M University y de ByteDance han publicado DMAD, una técnica de destilación que convierte MiniMax H3 (33 mil millones de parámetros, vídeo con audio estéreo) en un generador de 4 pasos en lugar de 50. En la práctica son dos LoRA de unos 1,4 GB cada una, que trabajan a 1344×768. En el paper los autores indican que los evaluadores humanos prefirieron sus vídeos en el 79,1% de los casos frente a DMD2 y en el 84,6% frente a rCM, dos técnicas competidoras (sin contar empates). Los pesos están en Hugging Face y hay un breve vídeo de demostración ("DMAD", canal Zhengming Yu).
Para ComfyUI, Kijai ya ha subido una versión aligerada de la LoRA a su repositorio MiniMax-H3-experimental (resumen en ComfyUI Wiki). Es el segundo atajo de "pocos pasos" para H3 en pocos días, después de LongLive-Plug de NVIDIA, del que hablamos el 1 de octubre.
Qué opinamos. Pasar de 50 a 4 pasos significa tiempos mucho más cortos, y es justo lo que necesita quien trabaja con tarjetas no enormes. Pero ojo: el script de los autores está pensado para una GPU de 80 GB y descarga unos 170 GB de modelo. En una RTX 3060 de 12 GB habría que partir de las versiones cuantizadas de H3 de Kijai, y todavía no lo hemos comprobado. Y queda el punto más importante: la licencia de MiniMax H3 excluye la Unión Europea sin un acuerdo aparte, y eso vale también para las LoRA construidas encima.
ComfyUI 0.38.1 y 0.38.2: llega la corrección para Qwen-Image
Después de la 0.38.0 del 29 de septiembre, Comfy Org ha publicado dos versiones de corrección, visibles como tags en GitHub. La 0.38.1 (30 de septiembre) soluciona el cuelgue que aparecía al elegir la caché int8 o int4 con Qwen-Image 2.1, el problema que habíamos señalado el 30 de septiembre como corregido solo en la rama de desarrollo. También añade los nodos partner para HeyGen Video 1.0 e Ideogram 4.5. La 0.38.2 (2 de octubre) lleva a la versión estable el nodo FLUX 3 Image y el modelo Grok Imagine Video 1.5 Lite.
En la rama de desarrollo, en cambio, hay tres cosas que conviene saber:
- los nodos Luma Ray 2 están obsoletos: los endpoints se apagarán el 24 de octubre, así que hay que actualizar los workflows que los usan;
- en las GPU integradas la memoria "pinned" ahora se desactiva sola: una buena noticia para quien usa ComfyUI en portátiles y mini PC sin tarjeta dedicada;
- el nodo Create Bounding Boxes, el que sirve para dibujar los recuadros para modelos como FLUX 3, mostrará la imagen de fondo incluso cuando llega de nodos que no generan una vista previa (también hace falta la actualización de la interfaz, todavía no fusionada).
Qué opinamos. Si habías aplazado la actualización por miedo al cuelgue con Qwen-Image, ahora puedes pasar a la 0.38.2 con más tranquilidad. Las novedades de la rama de desarrollo, en cambio, no son urgentes: esperamos a la próxima versión estable.
Stability AI lo apuesta todo a la música
Según TechCrunch, Sean Parker (cofundador de Napster) y el CEO Prem Akkaraju están reconstruyendo Stability AI como proveedor de herramientas de IA para profesionales de la música. A finales de agosto la empresa recaudó 76 millones de dólares de Sony, Warner y Universal, que también cedieron sus catálogos para el entrenamiento. Ya han salido tres nuevos modelos de audio y un software de edición musical; una próxima actualización permitirá tararear una melodía o hacer beatbox para guiar la generación.
Qué opinamos. Para quien monta vídeo, la música generada con datos con licencia es una buena noticia: menos dudas sobre los derechos de las bases. Para quienes, como nosotros, crecimos con Stable Diffusion, también es la confirmación de un cambio de rumbo. El artículo no dice nada sobre el futuro de los modelos de imagen: lo seguiremos.
Para probar ya
Si usas Qwen-Image 2.1 y la caché int8 te colgaba ComfyUI, actualiza. En la versión portable para Windows abre la carpeta update y ejecuta update_comfyui_stable.bat: te lleva a la última versión estable (la 0.38.2). Antes haz una copia de la carpeta custom_nodes y de tus workflows, por seguridad. Después vuelve a probar la caché int8: en una tarjeta de 12 GB como nuestra RTX 3060 es justo la que ayuda a no salirse de la memoria.
Para elegir los modelos adecuados lo tienes todo en la guía de modelos de IA para imágenes en ComfyUI y en la de modelos de IA para vídeo en ComfyUI. Si te preguntas cuánto cuestan de verdad los servicios de pago por uso como ElevenLabs frente al trabajo en local, lee cuánto cuesta crear imágenes y vídeos con IA; si empiezas de cero, arranca con la guía de introducción a ComfyUI.
Esto es todo por esta vez. Descarga nuestros workflows gratuitos desde la sección ComfyUI y síguenos en el canal de YouTube @tutorial3d: nos vemos en la próxima actualización con las novedades de la IA.
