SenseNova U1.5 in ComfyUI: ragiona prima di disegnare, in 8 passi

Aggiornato in data

SenseNova U1.5 in ComfyUI: ragiona prima di disegnare, in 8 passi

In qualità di Affiliato Amazon io ricevo un guadagno dagli acquisti idonei.As an Amazon Associate I earn from qualifying purchases.En calidad de Afiliado de Amazon, obtengo ingresos por las compras adscritas que cumplen los requisitos aplicables.

SenseNova U1.5 in ComfyUI fa una cosa che i generatori di immagini di solito non fanno: prima di disegnare scrive un ragionamento su cosa deve comparire nella scena, poi genera l'immagine. Il 17 novembre il team di ComfyUI ha unito al programma i nodi per questa modalità "thinking", per la generazione alternata di testo e immagini e per l'autocorrezione, e la v0.46.0 del 18 novembre li porta a tutti. Il 19 novembre SenseTime ha pubblicato anche la LoRA da 8 passi già convertita per ComfyUI.

Ti diciamo subito come la vediamo. Il modello è gratuito, ha la licenza Apache 2.0 (quindi si usa anche per lavoro, anche dall'Italia) e fa sia immagini fino al 4K sia modifiche con fino a 10 immagini di riferimento. Però è pesante: il file per ComfyUI pesa 35 GB e SenseTime consiglia 24 GB di VRAM e 64 GB di RAM. Noi lavoriamo su una RTX 3060 da 12 GB con 32 GB di RAM e, numeri alla mano, con il file ufficiale non ci proveremmo nemmeno. Qui trovi cosa è cambiato davvero, cosa serve e quale strada resta a chi ha una scheda più piccola.

Cos'èUn modello "unificato" che capisce e genera immagini: testo-immagine fino al 4K, modifica a parole, modifica con 1-10 immagini di riferimento, testo e immagini alternati
Chi l'ha creatoSenseTime (Cina), progetto OpenSenseNova
Memoria video richiestaSenseTime consiglia 24 GB di VRAM e 64 GB di RAM di sistema
Gira su una RTX 3060 da 12 GB?non dichiarato; con il file ufficiale BF16 da 35 GB e 32 GB di RAM no. Esistono versioni GGUF della comunità, non verificate da noi
LicenzaApache 2.0 (modello, LoRA e codice)
Uso commerciale dall'Italiasì, la licenza Apache 2.0 non pone limiti commerciali né geografici
Dove scaricarloHugging Face: sensenova/SenseNova-U1.5-8B-MoT (originale), t8star/SenseNova-U1.5-Comfy (file unico per ComfyUI), sensenova/SenseNova-U1.5-8B-MoT-LoRAs (LoRA 8 passi)
Gratis o a pagamentogratis, gira sul tuo PC

Cos'è SenseNova U1.5 e cosa vuol dire che "ragiona" prima di disegnare?

SenseNova U1.5 è un modello che legge e genera immagini con la stessa rete, invece di usare un modello linguistico separato per capire il prompt. SenseTime lo ha pubblicato il 20 agosto con licenza Apache 2.0 e lo descrive nella scheda ufficiale su Hugging Face: generazione nativa in 4K, modifica delle foto a parole, modifica con più immagini di riferimento, riquadri e segni grafici per indicare la zona da cambiare. Il nome dice "8B", ma la scheda indica 18 miliardi di parametri in BF16 (un formato a 16 bit, la qualità piena): è questo il numero che conta per la memoria.

Il "ragionamento" funziona così. Con la modalità thinking il modello prima scrive un testo in cui si chiarisce la richiesta (cosa c'è nella scena, dove, con che luce), poi genera l'immagine partendo da lì. In pratica è un prompt che si riscrive da solo, utile quando la richiesta è lunga o piena di dettagli. La generazione alternata (interleave) va oltre: il modello scrive un paragrafo, a un certo punto chiede un'immagine, ComfyUI la genera e gliela restituisce, e il testo continua. Ne può uscire uno storyboard o un tutorial illustrato in un solo passaggio.

Cosa è cambiato in ComfyUI con la v0.46.0?

Il supporto base a SenseNova U1.5 c'è da settembre: lo ha portato la v0.35.0 del 9 settembre (generazione e modifica con un solo file caricato dal normale Load Checkpoint). La novità è la modifica #16032, unita il 17 novembre ed elencata nel changelog ufficiale della v0.46.0. Aggiunge tre nodi:

  • Generate SenseNova Text (TextGenerateSenseNova): scrive il ragionamento o il pezzo di testo successivo e segnala quando serve generare un'immagine;
  • SenseNovaInterleaveDecode: separa testo, immagini e ragionamento alla fine di una generazione alternata;
  • ModelSamplingSenseNova: imposta lo "shift" del campionamento (prima il nodo si chiamava SenseNovaSamplingOptions, quindi i vecchi workflow vanno ricollegati).

Per le normali immagini da testo e per le modifiche il nodo di testo non serve: bastano KSampler e VAE Decode come sempre. L'autocorrezione, in cui il modello guarda il risultato e lo ritocca, secondo la descrizione della modifica è pensata per checkpoint U1.6 compatibili, quindi con U1.5 non contarci.

Quanta VRAM serve per SenseNova in ComfyUI?

Il repository ufficiale OpenSenseNova dice di prevedere 24 GB di memoria video, 64 GB di RAM e circa 35 GB di disco. Nelle loro prove su RTX 5090 la RAM usata dal processo è arrivata a circa 52 GB. I file per ComfyUI confermano il quadro:

  • SenseNova-U1.5-8B-MoT-BF16-T8.safetensors: 35,1 GB, il checkpoint consigliato, da mettere in models/checkpoints;
  • SenseNova-U1.5-8B-MoT-LoRA-8step-V2-ComfyUI.safetensors: 815 MB, la LoRA da 8 passi, da mettere in models/loras.

Con 32 GB di RAM un file da 35 GB non ci sta nemmeno in memoria di sistema, figuriamoci su una scheda da 12 GB: ComfyUI dovrebbe appoggiarsi al file di paging del disco e i tempi diventerebbero ingestibili. Se ci provi lo stesso e ComfyUI si blocca, nella nostra guida agli errori di ComfyUI trovi cosa fare quando finisce la memoria. Su Hugging Face ci sono versioni GGUF (file compressi, più leggeri, con una piccola perdita di qualità) caricate dalla comunità, per esempio realrebelai/SenseNova-U1.5-8B_GGUFs, che però si usano con il pacchetto di nodi esterno "SenseNova U1.5 (T8)" e non con i nodi nativi. Non le abbiamo provate e non sappiamo come si comportano con thinking e interleave: se hai 12 GB, è l'unica strada da tentare.

A cosa serve la LoRA da 8 passi?

Serve a generare in 8 passi invece di 50. La LoRA (un piccolo file che modifica il comportamento del modello senza sostituirlo) è "distillata", cioè addestrata a ottenere in pochi passaggi un risultato vicino a quello completo. SenseTime ne ha pubblicato la prima versione il 20 agosto e la V2 il 24 settembre, con colori e contrasto più bilanciati e meno nitidezza artificiale. Il 19 novembre è arrivata nel repository delle LoRA la versione con le chiavi nel formato di ComfyUI: secondo la scheda richiede la v0.46.0 o successiva ed è stata validata con il checkpoint BF16 da 35,1 GB.

Le impostazioni indicate sono semplici: nodo Load LoRA (Model Only), forza 1, CFG 1, 8 passi. Senza LoRA la scheda del repack t8star consiglia 50 passi, CFG 4, shift 3, campionatore euler e scheduler normal. Il risparmio di tempo è grosso, anche se SenseTime non pubblica tempi precisi per ComfyUI.

Vale la pena provarlo per lavoro?

Sì, se hai una scheda da 24 GB e 64 GB di RAM. La licenza Apache 2.0 è la più tranquilla per chi lavora: niente esclusioni per l'Unione Europea, al contrario di MiniMax H3, e niente soglie di fatturato. Il thinking è utile quando i prompt sono lunghi, come le descrizioni di una scena con più personaggi o di un prodotto con dettagli precisi. Il 4K nativo evita un passaggio di upscale.

Con 12 o 16 GB, per ora, noi resteremmo su modelli pensati per schede più piccole: per modificare le foto a parole MOSS-Image Edit gira con 8 GB, e nella guida ai modelli per immagini in ComfyUI trovi le alternative divise per memoria video. SenseNova lo terremo d'occhio quando usciranno versioni più leggere compatibili con i nodi nativi.

Da provare subito

Se hai l'hardware giusto, questi sono i passi per partire con i nodi nativi:

  1. Aggiorna ComfyUI alla v0.46.0 o successiva (se sei alle prime armi, la nostra guida introduttiva a ComfyUI spiega come aggiornarlo).
  2. Scarica SenseNova-U1.5-8B-MoT-BF16-T8.safetensors da t8star/SenseNova-U1.5-Comfy e mettilo in models/checkpoints.
  3. Scarica SenseNova-U1.5-8B-MoT-LoRA-8step-V2-ComfyUI.safetensors e mettilo in models/loras.
  4. Prendi i workflow di esempio dal repository OpenSenseNova/SenseNova-U1, cartella apps/comfyui/example_workflows: ci sono testo-immagine, testo-immagine con thinking, modifica, modifica con thinking e interleave.
  5. Parti da 1536×2720 o 2720×1536 (le proporzioni 9:16 e 16:9 consigliate) con LoRA a forza 1, CFG 1 e 8 passi; passa al workflow con thinking solo quando il prompt è lungo.

Le altre novità

  • pi-H3 1.0 (21 novembre): adattatori da 2 e 4 passi per i video di MiniMax H3, con nodi ComfyUI-piFlow, di Hansheng Chen e colleghi di Stanford e Luma AI. Attenzione: valgono le condizioni di MiniMax H3, che escludono l'Unione Europea. Scheda su Hugging Face.
  • ComfyUI v0.46.0 toglie DirectML (18 novembre): l'opzione --directml non esiste più, quindi chi usava ComfyUI su Windows con schede AMD o Intel tramite DirectML non deve aggiornare alla cieca. Changelog.
  • Video Deflicker nativo: nella stessa versione entra il nodo che toglie lo sfarfallio dai video, di cui abbiamo parlato nell'articolo su come togliere il flicker dai video AI in ComfyUI.

Domande frequenti

SenseNova U1.5 si può usare per lavori commerciali in Italia?

Sì. Modello, LoRA e codice hanno la licenza Apache 2.0, che permette l'uso commerciale senza limiti geografici. Devi solo conservare l'avviso di licenza se ridistribuisci i file. Le immagini che generi sono tue da usare, come con qualsiasi modello Apache 2.0.

Serve un pacchetto di nodi esterno per usare SenseNova in ComfyUI?

No, dalla v0.46.0 testo-immagine, modifica, thinking e interleave usano nodi nativi. Esistono anche pacchetti esterni (quello ufficiale ComfyUI-SenseNova-U1 e "SenseNova U1.5 (T8)"), utili soprattutto se vuoi caricare i file GGUF della comunità.

Che differenza c'è tra SenseNova U1.5 e U1.5 TailSteer?

TailSteer, pubblicato da SenseTime il 4 novembre, è un checkpoint completo addestrato per tenere stabile l'immagine quando la modifichi più volte di seguito. Per immagini singole e modifiche semplici basta il modello U1.5 normale, che è anche quello con cui è stata validata la LoRA da 8 passi.

Il thinking rende le immagini più lente?

Sì, un po': prima dell'immagine il modello genera il testo del ragionamento, e questo richiede tempo in più. SenseTime non pubblica tempi per ComfyUI. Il consiglio è usarlo solo con prompt lunghi o complessi, dove una richiesta chiarita prima fa davvero la differenza.

Se vuoi i nostri workflow gratuiti per ComfyUI e le prove fatte su una scheda da 12 GB, trovi tutto nella sezione ComfyUI e sul canale YouTube @tutorial3d.

Sono un informatico e videodesigner e mi occupo di comunicazione visiva.
L’obiettivo del mio lavoro è quello di aiutare i miei clienti nella comunicazione proponendo soluzioni tecniche e creative nell'ambito visual/multimedia.

Tutorial3d
Grafico - Videodesigner - VisualFX

Ti consigliamo anche:



#Devo averlo!

VIDEO

INSPIRATION IN YOUR INBOX

Una mail. Un tutorial. Niente rumore.

Ti scrivo un solo tutorial scelto, con file progetto e note tecniche. Senza promozioni, senza affiliate. Cancellabile in un click.

[newsletter_form]