Questa volta parliamo soprattutto di audio. ElevenLabs ha lanciato Eleven v4, le sue voci più espressive, e ComfyUI ha già pronti i template per usarle (il nodo è in arrivo). Per il video, un gruppo di Texas A&M e ByteDance porta MiniMax H3 da 50 a 4 passi con DMAD. E se usi ComfyUI con Qwen-Image 2.1, c'è una correzione che aspettavi: la 0.38.1 sistema il crash con la cache int8.
In breve
- Eleven v4: nuove voci ElevenLabs con tag di recitazione, dialoghi a più voci e oltre 90 lingue; i template per ComfyUI ci sono già, il nodo partner è in revisione.
- DMAD: due LoRA che fanno generare a MiniMax H3 video con audio in 4 passi invece di 50; Kijai le ha già convertite per ComfyUI.
- ComfyUI 0.38.1 e 0.38.2: corretto il crash di Qwen-Image 2.1 con cache int8/int4; nel ramo di sviluppo i nodi Luma Ray 2 vanno in pensione il 24 ottobre.
- Stability AI: secondo TechCrunch l'azienda di Stable Diffusion si sta ricostruendo attorno alla musica, con il sostegno delle tre grandi case discografiche.
Eleven v4: voci che recitano, non che leggono
Il 28 settembre ElevenLabs ha presentato Eleven v4 e la variante veloce Eleven v4 Turbo (annuncio ufficiale). L'idea è che il modello capisca il tono dal testo, invece di leggerlo in modo piatto. Le novità più utili per chi fa video:
- tag nel testo come
[laughs]o suoni d'ambiente come[light rain], più indicazioni di recitazione scritte in linguaggio naturale; - dialoghi a più voci in cui chi parla risponde a quello che è appena stato detto, utile per spot e animazioni;
- oltre 90 lingue, con la possibilità di far parlare la stessa voce in lingue diverse mantenendone l'identità;
- clonazione della voce da circa 10 secondi di audio e ritorno dei cloni professionali, che mancavano nella v3.
È un servizio online: si prova con un account gratuito, e fino al 12 ottobre ElevenLabs triplica i crediti sui piani Creator e superiori. Per ComfyUI la situazione è questa: i template "speech" e "dialogue" per Eleven v4 sono già nel pacchetto 0.11.76, mentre il nodo partner con i modelli v4 e v4 Turbo è ancora in revisione. Sarà a pagamento, con i crediti Comfy.
Cosa ne pensiamo. Per i voiceover di tutorial, spot e presentazioni la qualità di ElevenLabs è da tempo il riferimento, e i tag di recitazione tolgono molti tentativi. Ma è cloud e a consumo: se fai tanti minuti di voce al mese i costi salgono. Averlo dentro ComfyUI è comodo per mettere voce e video nello stesso workflow; per chi vuole restare in locale, l'alternativa sono i modelli di sintesi vocale aperti, da valutare caso per caso sull'italiano.
DMAD: MiniMax H3 in 4 passi, audio compreso
Ricercatori di Texas A&M University e ByteDance hanno pubblicato DMAD, una tecnica di distillazione che trasforma MiniMax H3 (33 miliardi di parametri, video con audio stereo) in un generatore a 4 passi invece di 50. In pratica sono due LoRA da circa 1,4 GB l'una, che lavorano a 1344×768. Nel paper gli autori riportano che i valutatori umani hanno preferito i loro video al 79,1% rispetto a DMD2 e all'84,6% rispetto a rCM, due tecniche concorrenti (pareggi esclusi). I pesi sono su Hugging Face e c'è un breve video dimostrativo ("DMAD", canale Zhengming Yu).
Per ComfyUI, Kijai ha già caricato una versione alleggerita della LoRA nel suo repository MiniMax-H3-experimental (riepilogo su ComfyUI Wiki). È la seconda scorciatoia "pochi passi" per H3 in pochi giorni, dopo LongLive-Plug di NVIDIA di cui abbiamo parlato il 1° ottobre.
Cosa ne pensiamo. Passare da 50 a 4 passi vuol dire tempi molto più brevi, ed è proprio quello che serve a chi lavora con schede non enormi. Ma attenzione: lo script degli autori è pensato per una GPU da 80 GB e scarica circa 170 GB di modello. Su una RTX 3060 da 12 GB bisognerebbe partire dalle versioni quantizzate di H3 di Kijai, e non lo abbiamo ancora verificato. E resta il punto più importante: la licenza di MiniMax H3 esclude l'Unione Europea senza un accordo separato, e vale anche per le LoRA costruite sopra.
ComfyUI 0.38.1 e 0.38.2: arriva la correzione per Qwen-Image
Dopo la 0.38.0 del 29 settembre, Comfy Org ha pubblicato due versioni di correzione, visibili come tag su GitHub. La 0.38.1 (30 settembre) risolve il crash che compariva scegliendo la cache int8 o int4 con Qwen-Image 2.1, il problema che avevamo segnalato il 30 settembre come corretto solo nel ramo di sviluppo. Aggiunge anche i nodi partner per HeyGen Video 1.0 e Ideogram 4.5. La 0.38.2 (2 ottobre) porta nella versione stabile il nodo FLUX 3 Image e il modello Grok Imagine Video 1.5 Lite.
Nel ramo di sviluppo, invece, ci sono tre cose da sapere:
- i nodi Luma Ray 2 sono deprecati: gli endpoint verranno spenti il 24 ottobre, quindi i workflow che li usano vanno aggiornati;
- sulle GPU integrate la memoria "pinned" ora si disattiva da sola: una buona notizia per chi usa ComfyUI su portatili e mini PC senza scheda dedicata;
- il nodo Create Bounding Boxes, quello con cui si disegnano i riquadri per modelli come FLUX 3, mostrerà l'immagine di sfondo anche quando arriva da nodi che non producono un'anteprima (serve anche l'aggiornamento dell'interfaccia, non ancora unito).
Cosa ne pensiamo. Se avevi rimandato l'aggiornamento per paura del crash con Qwen-Image, ora puoi passare alla 0.38.2 con più tranquillità. Le novità del ramo di sviluppo, invece, non sono urgenti: aspettiamo la prossima versione stabile.
Stability AI punta tutto sulla musica
Secondo TechCrunch, Sean Parker (cofondatore di Napster) e il CEO Prem Akkaraju stanno ricostruendo Stability AI come fornitore di strumenti AI per professionisti della musica. A fine agosto l'azienda ha raccolto 76 milioni di dollari da Sony, Warner e Universal, che hanno anche concesso i loro cataloghi per l'addestramento. Sono già usciti tre nuovi modelli audio e un software di editing musicale; un prossimo aggiornamento permetterà di canticchiare una melodia o fare beatbox per guidare la generazione.
Cosa ne pensiamo. Per chi monta video, musica generata con dati in licenza è una buona notizia: meno dubbi sui diritti delle basi. Per chi, come noi, è cresciuto con Stable Diffusion, è anche la conferma di un cambio di rotta. L'articolo non dice nulla sul futuro dei modelli per immagini: lo seguiremo.
Da provare subito
Se usi Qwen-Image 2.1 e la cache int8 ti mandava in crash ComfyUI, aggiorna. Nella versione portable per Windows apri la cartella update e lancia update_comfyui_stable.bat: ti porta all'ultima versione stabile (la 0.38.2). Prima fai una copia della cartella custom_nodes e dei tuoi workflow, per sicurezza. Poi riprova la cache int8: su una scheda da 12 GB come la nostra RTX 3060 è proprio quella che aiuta a stare nella memoria.
Per scegliere i modelli giusti trovi tutto nella guida ai modelli AI per immagini in ComfyUI e in quella ai modelli AI per video in ComfyUI. Se ti chiedi quanto costano davvero i servizi a consumo come ElevenLabs rispetto al lavoro in locale, leggi quanto costa creare immagini e video con l'AI; se parti da zero, inizia dalla guida introduttiva a ComfyUI.
È tutto per questa volta. Scarica i nostri workflow gratuiti dalla sezione ComfyUI e seguici sul canale YouTube @tutorial3d: ci vediamo al prossimo aggiornamento con le novità dell'AI.
