Modello di Diffusione

Che cos'è un modello di diffusione?

Un modello di diffusione è un'architettura di IA generativa che crea immagini imparando a invertire un processo di aggiunta di rumore. Durante l'addestramento, le immagini vengono progressivamente distrutte con del rumore casuale e il modello impara ad annullare ogni passaggio. Al momento della generazione, parte dal rumore puro e lo rimuove (denoising) passo dopo passo fino a ottenere una nuova immagine, guidato da un prompt di testo, da un'immagine di riferimento o da entrambi.

I modelli di diffusione sono alla base della maggior parte dei generatori di immagini all'avanguardia, inclusi i sistemi di garment transfer utilizzati per il virtual try-on basato su immagini.

Come funziona

1. Processo in avanti (addestramento): il rumore viene aggiunto a un'immagine reale in molti piccoli passaggi finché non rimane solo l'effetto statico.
2. Processo inverso appreso: il modello viene addestrato a prevedere lo stato precedente e meno rumoroso in ogni passaggio.
3. Generazione: partendo dal rumore casuale, il denoising appreso viene applicato ripetutamente (in genere 20-50 passaggi) finché non emerge un'immagine coerente.
4. Condizionamento: a ogni passaggio il modello può essere guidato da input come l'immagine di un capo, una posa del corpo o una maschera della regione da ridipingere.

Il ruolo nel virtual try-on

Il condizionamento è ciò che trasforma un generatore di immagini generico in un motore per il try-on: data la foto di una persona, la foto di un capo d'abbigliamento e una maschera per i vestiti, il modello rigenera solo la regione mascherata (vedi image inpainting) con la trama del tessuto, le pieghe e l'illuminazione coerenti con la foto originale.

Il compromesso è la velocità: la generazione richiede secondi e necessita di calcolo GPU, motivo per cui il try-on basato sulla diffusione produce immagini statiche anziché sovrapposizioni video in tempo reale.

FAQ

Risposte alle tue domande.

Perché i modelli di diffusione hanno sostituito le GAN per il try-on?↓

Le prime ricerche sul try-on utilizzavano le GAN, ma i modelli di diffusione si sono rivelati più stabili da addestrare, più controllabili tramite il condizionamento e migliori nel riprodurre texture fini. Tutti aspetti fondamentali per l'abbigliamento.