Modèle de diffusion

Qu'est-ce qu'un modèle de diffusion ?

Un modèle de diffusion est une architecture d'IA générative qui crée des images en apprenant à inverser un processus d'ajout de bruit. Lors de l'entraînement, les images sont progressivement détruites avec du bruit aléatoire et le modèle apprend à annuler chaque étape. Au moment de la génération, il part de bruit pur et débruite étape par étape pour former une nouvelle image, guidé par une requête textuelle, une image de référence ou les deux.

Les modèles de diffusion sous-tendent la plupart des générateurs d'images de pointe, y compris les systèmes de transfert de vêtement utilisés pour l'essayage virtuel basé sur l'image.

Comment ça marche

1. Processus direct (entraînement) : du bruit est ajouté à une image réelle en de nombreuses petites étapes jusqu'à ce qu'il ne reste que du bruit statique.
2. Processus inverse appris : le modèle est entraîné à prédire l'état précédent, moins bruité, à chaque étape.
3. Génération : en partant d'un bruit aléatoire, le débruitage appris est appliqué à plusieurs reprises (généralement 20 à 50 étapes) jusqu'à ce qu'une image cohérente émerge.
4. Conditionnement : à chaque étape, le modèle peut être dirigé par des entrées telles qu'une image de vêtement, une pose corporelle ou un masque de la région à repeindre.

Rôle dans l'essayage virtuel

Le conditionnement est ce qui transforme un générateur d'images général en un moteur d'essayage : étant donné la photo d'une personne, la photo d'un vêtement et un masque de vêtement, le modèle régénère uniquement la région masquée (voir inpainting d'image) avec la texture du tissu, les plis et l'éclairage en cohérence avec la photo d'origine.

Le compromis est la vitesse : la génération prend des secondes et nécessite des calculs GPU, c'est pourquoi l'essayage basé sur la diffusion produit des images statiques plutôt que des superpositions vidéo en direct.

FAQ

Vos questions, nos réponses.

Pourquoi les modèles de diffusion ont-ils remplacé les GAN pour l'essayage ?↓

Les recherches antérieures sur l'essayage utilisaient des GAN, mais les modèles de diffusion se sont avérés plus stables à entraîner, plus contrôlables par le conditionnement et meilleurs pour reproduire les textures fines. Tous ces éléments sont importants pour les vêtements.