Image inpainting

Wat is image inpainting?

Image inpainting is een computer vision-techniek waarmee je een geselecteerd deel van een afbeelding reconstrueert of vervangt, zonder de rest aan te tasten. Vroeger werd het vooral gebruikt om beschadigde foto's te herstellen of objecten te verwijderen. Tegenwoordig doen diffusiemodellen het zware werk: zij vullen het gemaskerde gebied naadloos met nieuwe, contextbewuste content.

Bij virtual try-on beperkt inpainting de generatie puur tot de kleding. Het gezicht, het haar en de achtergrond van de originele foto blijven tot op de pixel nauwkeurig behouden; alleen het kledingstuk wordt opnieuw opgebouwd.

Hoe het werkt in een try-on pipeline

1. Maskers maken: Beeldsegmentatie creëert een tot op de pixel nauwkeurig masker van het te vervangen kledingstuk.
2. Contextanalyse: het model analyseert alles buiten het masker, zoals huidskleur, lichtval en achtergrond.
3. Geconditioneerde regeneratie: het gemaskerde deel wordt gevuld met het nieuwe kledingstuk, naadloos afgestemd op de productfoto en de houding van het model.
4. Blending: de randen van het masker worden verzacht, zodat het gegenereerde deel natuurlijk overloopt in de originele pixels.

De grootste uitdagingen

• Nauwkeurigheid van het masker: een masker dat een mouw mist, laat de oude kleding zichtbaar. Is het masker te groot, dan vervagen handen of haar.
• Occlusie: haar of gekruiste armen die voor de kleding vallen, moeten strak op de voorgrond blijven.
• Realistische randen: zichtbare naden tussen gegenereerde en originele pixels (vooral bij kragen en zomen) doorbreken direct de illusie.

FAQ

Vragen, beantwoord.

Is inpainting hetzelfde als content-aware fill?↓

Het idee is vergelijkbaar, maar de functionaliteit verschilt. Waar content-aware fill omliggende texturen kopieert om een object te verbergen, creëert generatieve inpainting compleet nieuwe, semantisch kloppende content. Denk bijvoorbeeld aan het genereren van een kledingstuk dat oorspronkelijk helemaal niet op de foto stond.