Inpainting delle immagini

Cos'è l'inpainting delle immagini?

L'inpainting delle immagini è una tecnica di computer vision che ricostruisce o sostituisce un'area selezionata di un'immagine, mantenendo inalterato il resto. Utilizzata originariamente per restaurare fotografie danneggiate e rimuovere oggetti indesiderati, oggi viene eseguita principalmente dai modelli di diffusione, che riempiono l'area della maschera con contenuti nuovi e coerenti con il contesto.

Nel virtual try-on, l'inpainting limita la generazione al solo abbigliamento: il viso, i capelli e lo sfondo della foto originale vengono preservati pixel per pixel, rigenerando unicamente l'area del capo.

Come funziona in una pipeline di try-on

1. Creazione della maschera: la segmentazione delle immagini genera una maschera precisa al pixel del capo da sostituire.
2. Codifica del contesto: il modello analizza tutto ciò che si trova al di fuori della maschera, come la tonalità della pelle, la direzione della luce e lo sfondo.
3. Rigenerazione condizionata: l'area mascherata viene riempita con il nuovo indumento, basandosi sull'immagine del prodotto e sulla posa della persona.
4. Fusione (Blending): i bordi della maschera vengono sfumati affinché la regione rigenerata si integri in modo fluido con i pixel preservati.

Sfide principali

• Precisione della maschera: una maschera che non copre una manica lascia visibile il vecchio indumento; una troppo grande finisce per tagliare mani o capelli.
• Occlusione: i capelli o le braccia incrociate davanti ai vestiti devono rimanere in primo piano.
• Realismo dei contorni: le cuciture visibili tra i pixel generati e quelli originali rompono l'illusione, specialmente su colletti e orli.

FAQ

Risposte alle tue domande.

L'inpainting è la stessa cosa del riempimento in base al contenuto (content-aware fill)?↓

L'idea è simile, ma le capacità sono diverse. Il riempimento in base al contenuto copia le texture circostanti per nascondere un oggetto; l'inpainting generativo sintetizza contenuti del tutto nuovi e semanticamente corretti, come un capo d'abbigliamento che non era presente nella foto originale.