Modèle de diffusion

Qu'est-ce qu'un modèle de diffusion ?

Un modèle de diffusion est une architecture d'IA générative qui crée des images en apprenant à inverser un processus d'ajout de bruit. Lors de l'entraînement, les images sont progressivement détruites par un bruit aléatoire et le modèle apprend à annuler chaque étape. Au moment de la génération, il part d'un bruit pur et le débruite étape par étape pour obtenir une nouvelle image, guidé par une invite textuelle, une image de référence ou les deux.

Les modèles de diffusion sont à la base de la plupart des générateurs d'images de pointe, y compris les systèmes de transfert de vêtement utilisés pour l'essayage virtuel basé sur l'image.

Comment ça marche

1. Processus direct (entraînement) : on ajoute du bruit à une image réelle par petites étapes successives jusqu'à ce qu'il ne reste plus que des parasites.
2. Processus inverse appris : le modèle est entraîné à prédire l'état précédent, moins bruité, à chaque étape.
3. Génération : à partir d'un bruit aléatoire, le débruitage appris est appliqué de façon répétée (généralement 20 à 50 étapes) jusqu'à ce qu'une image cohérente apparaisse.
4. Conditionnement : à chaque étape, le modèle peut être orienté par des données d'entrée telles qu'une image de vêtement, une posture ou un masque délimitant la zone à redessiner.

Son rôle dans l'essayage virtuel

Le conditionnement est ce qui transforme un générateur d'images classique en un moteur d'essayage : à partir de la photo d'une personne, de celle d'un vêtement et d'un masque de vêtement, le modèle regénère uniquement la zone masquée (voir inpainting d'image) en appliquant une texture de tissu, des plis et un éclairage cohérents avec la photo d'origine.

Le compromis se situe au niveau de la vitesse : la génération prend quelques secondes et nécessite une puissance de calcul GPU, c'est pourquoi l'essayage basé sur la diffusion produit des images statiques plutôt que des superpositions vidéo en temps réel.

FAQ

Vos questions, nos réponses.

Pourquoi les modèles de diffusion ont-ils remplacé les GAN pour l'essayage virtuel ?↓

Les premières recherches sur l'essayage s'appuyaient sur les GAN, mais les modèles de diffusion se sont révélés plus stables à entraîner, plus faciles à contrôler grâce au conditionnement, et plus performants pour reproduire les textures fines. Autant d'éléments cruciaux pour les vêtements.