Inpainting d'image

Qu'est-ce que l'inpainting d'image ?

L'inpainting d'image (ou retouche par comblement) est une technique de vision par ordinateur qui permet de reconstruire ou de remplacer une zone précise d'une image sans altérer le reste. Initialement utilisée pour restaurer des photos abîmées ou effacer des éléments indésirables, cette tâche est aujourd'hui principalement confiée aux modèles de diffusion, capables de remplir la zone masquée avec un nouveau contenu parfaitement adapté au contexte.

Dans le domaine de l'essayage virtuel (virtual try-on), l'inpainting limite la génération d'image à la seule zone du vêtement : le visage, les cheveux et l'arrière-plan de la photo d'origine sont conservés au pixel près, et seule la partie occupée par l'habit est régénérée.

Comment ça marche dans un pipeline d'essayage

1. Création du masque : la segmentation d'image génère un masque au pixel près du vêtement à remplacer.
2. Encodage du contexte : le modèle analyse tout ce qui se trouve à l'extérieur du masque (couleur de peau, direction de la lumière, arrière-plan).
3. Régénération conditionnée : la zone masquée est comblée par le nouveau vêtement, en s'appuyant sur l'image du produit et la posture de la personne.
4. Fondu (Blending) : les bords du masque sont adoucis pour que la zone générée s'intègre harmonieusement aux pixels conservés.

Principaux défis

• Précision du masque : un masque qui oublie une manche laisse l'ancien vêtement visible ; s'il est trop large, il risque de rogner les mains ou les cheveux.
• Occlusion : les cheveux ou les bras croisés devant le vêtement doivent impérativement rester au premier plan.
• Réalisme des contours : des démarcations visibles entre les pixels générés et les pixels originaux brisent l'illusion, particulièrement au niveau des cols et des ourlets.

Une brève histoire de l'inpainting

Époque	Approche	Exemple
Années 2000	Méthodes EDP basées sur la diffusion propagent les pixels environnants pour combler de petits trous	Méthode fast marching de Telea (2004), utilisée pour effacer les rayures et le texte
2009 à 2015	Synthèse par patchs copie des morceaux de texture correspondants ailleurs dans l'image	PatchMatch (2009), la base du Remplissage d'après le contenu de Photoshop (2010)
2018 à 2021	Deep learning modèles entraînés pour remplir de grandes zones avec des structures plausibles	LaMa (2021), très performant sur les grands masques et les motifs répétitifs
À partir de 2022	Inpainting génératif par diffusion crée un nouveau contenu guidé par du texte ou une image de référence	Stable Diffusion et les modèles d'inpainting par diffusion ultérieurs

Les trois premières générations se contentaient de reconstruire ce qui se trouvait probablement derrière le masque. L'inpainting génératif, lui, peut y insérer quelque chose de totalement nouveau. C'est ce qui le rend indispensable pour l'essayage : la zone masquée se transforme en un vêtement qui n'était pas sur la photo d'origine.

L'inpainting au-delà de l'essayage

• Suppression d'objets : effacer des personnes, des câbles ou des logos sur des photos.
• Restauration de photos : réparer les déchirures, les taches et les coins manquants sur des tirages numérisés.
• Outpainting : l'opération inverse, qui consiste à étendre une image au-delà de ses bords originaux.
• Retouche de photos produits : changer les arrière-plans ou lisser les plis sur des photos de vêtements.

Alternatives sans masque

Certains systèmes d'essayage récents se passent de masque explicite : le modèle reçoit la photo complète de la personne ainsi que l'image du produit, et décide lui-même quels pixels modifier. Cela élimine les erreurs liées au masque (une manche oubliée, une main rognée), mais il devient plus difficile de garantir que le visage et le décor resteront intacts. C'est pourquoi de nombreux pipelines combinent encore un masque avec un modèle génératif.

FAQ

Vos questions, nos réponses.

L'inpainting est-il similaire au Remplissage d'après le contenu ?↓

Le concept est similaire, mais les capacités diffèrent. Le Remplissage d'après le contenu (Content-aware fill) copie les textures environnantes pour masquer un objet. L'inpainting génératif, quant à lui, synthétise un nouveau contenu sémantiquement cohérent, comme un vêtement qui ne figurait pas du tout sur la photo.

Qu'est-ce que l'inpainting en IA ?↓

Dans la génération d'images par IA, l'inpainting consiste à régénérer une partie ciblée (et masquée) d'une image tout en préservant le reste. Un modèle de diffusion vient combler le masque avec un nouveau contenu qui respecte l'éclairage et le contexte de l'image, en se basant sur un prompt textuel ou une image de référence.