Inpainting d'image
Régénérer la zone masquée d'une image tout en laissant le reste intact.
Qu'est-ce que l'inpainting d'image ?
L'inpainting d'image est une technique de vision par ordinateur qui permet de reconstruire ou de remplacer une zone spécifique d'une image sans altérer le reste. Initialement utilisée pour restaurer des photos abîmées et effacer des objets, cette méthode s'appuie aujourd'hui couramment sur des modèles de diffusion, capables de remplir la zone masquée avec un nouveau contenu adapté au contexte.
Dans le cadre de l'essayage virtuel, l'inpainting limite la génération à la zone du vêtement : le visage, les cheveux et l'arrière-plan de la photo d'origine sont conservés au pixel près. Seul l'espace occupé par l'habit est régénéré.
Son fonctionnement dans un processus d'essayage virtuel
- Création du masque : la segmentation d'image génère un masque ultra-précis du vêtement à remplacer.
- Analyse du contexte : le modèle étudie tout ce qui se trouve en dehors du masque (teinte de la peau, orientation de la lumière, arrière-plan).
- Régénération conditionnée : la zone masquée est remplie avec le nouveau vêtement, en s'appuyant sur l'image du produit et la pose du mannequin.
- Fusion : les contours du masque sont adoucis pour que la zone régénérée se fonde naturellement avec les pixels d'origine.
Les principaux défis
- Précision du masque : un masque qui oublie une manche laissera l'ancien vêtement visible ; s'il est trop large, il empiétera sur les mains ou les cheveux.
- Occlusion : les cheveux ou les bras croisés devant le vêtement doivent impérativement rester au premier plan.
- Réalisme des contours : des démarcations trop nettes entre les pixels générés et originaux brisent l'illusion, particulièrement au niveau des cols et des ourlets.
FAQ
Vos questions, nos réponses.
L'inpainting est-il similaire au remplissage génératif (content-aware fill) ?↓
L'idée de base est la même, mais les capacités diffèrent. Le remplissage copie les textures environnantes pour masquer un objet, tandis que l'inpainting génératif crée de toutes pièces un contenu inédit et cohérent (comme un vêtement qui n'était pas sur la photo).
Termes associés
- Modèle de diffusion
- Une architecture d'IA générative qui crée des images en apprenant à inverser un processus d'ajout de bruit progressif.
- Segmentation d'image
- Une technique de vision par ordinateur qui divise une image en régions précises au pixel près, telles qu'une personne, ses vêtements et l'arrière-plan.
- Transfert de vêtement
- Le processus par lequel l'IA génère un vêtement à partir d'une photo produit directement sur l'image d'une personne.
- Occlusion
- Masquer les bonnes parties d'un objet virtuel derrière des éléments du monde réel qui sont plus proches de l'utilisateur.