Image Inpainting

Wat is image inpainting?

Image inpainting is een computer vision-techniek die een geselecteerd gebied van een afbeelding reconstrueert of vervangt, terwijl de rest onaangetast blijft. Oorspronkelijk werd het gebruikt om beschadigde foto's te herstellen en objecten te verwijderen, maar nu wordt het vaak uitgevoerd door diffusiemodellen, die het gemaskeerde gebied vullen met nieuwe, contextbewuste content.

In virtual try-on beperkt inpainting de generatie tot het kledinggebied: het gezicht, het haar en de achtergrond van de originele foto blijven pixel-voor-pixel behouden, en alleen het kledinggebied wordt geregenereerd.

Hoe het werkt in een try-on pipeline

1. Maskercreatie: image segmentation produceert een pixel-precies masker van het kledingstuk dat moet worden vervangen.
2. Contextcodering: het model analyseert alles buiten het masker: huidskleur, belichtingsrichting, achtergrond.
3. Geconditioneerde regeneratie: het gemaskeerde gebied wordt gevuld met het nieuwe kledingstuk, gestuurd door de productafbeelding en de pose van de persoon.
4. Blending: de randen van het masker worden vervaagd zodat het geregenereerde gebied naadloos overgaat in de behouden pixels.

Belangrijkste uitdagingen

• Nauwkeurigheid van het masker: een masker dat een mouw mist, laat het oude kledingstuk zichtbaar; een masker dat te groot is, wist handen of haar weg.
• Occlusie: haar of gekruiste armen voor de kleding moeten op de voorgrond blijven.
• Realisme van randen: zichtbare naden tussen gegenereerde en originele pixels doorbreken de illusie, vooral bij kragen en zomen.

FAQ

Vragen, beantwoord.

Is inpainting hetzelfde als content-aware fill?↓

Hetzelfde idee, andere mogelijkheden. Content-aware fill kopieert omringende texturen om een object te verbergen; generatieve inpainting synthetiseert nieuwe, semantisch correcte content, zoals een kledingstuk dat niet op de foto stond.