Image Inpainting

Hvad er image inpainting?

Image inpainting er en computer vision-teknik, der rekonstruerer eller erstatter et udvalgt område af et billede, mens resten forbliver uberørt. Oprindeligt blev det brugt til at gendanne beskadigede fotografier og fjerne uønskede objekter, men i dag udføres det oftest af diffusionsmodeller, som fylder det maskerede område med nyt, kontekstbevidst indhold.

Inden for virtual try-on begrænser inpainting genereringen til selve tøjet: ansigtet, håret og baggrunden i det oprindelige billede bevares pixel for pixel, og det er kun tøjområdet, der regenereres.

Sådan fungerer det i et virtual try-on-flow

1. Oprettelse af maske: Billedsegmentering skaber en pixelpræcis maske af det tøj, der skal udskiftes.
2. Kontekstanalyse: Modellen analyserer alt uden for masken, herunder hudtone, lysretning og baggrund.
3. Betinget regenerering: Det maskerede område fyldes med det nye tøj, styret af produktbilledet og personens posering.
4. Sammensmeltning: Maskens kanter sløres let, så det regenererede område glider naturligt over i de bevarede pixels.

Største udfordringer

• Maskepræcision: En maske, der misser et ærme, efterlader det gamle tøj synligt. Er masken for stor, kan den ødelægge hænder eller hår.
• Okklusion: Hår eller korslagte arme foran tøjet skal forblive i forgrunden.
• Naturlige overgange: Synlige samlinger mellem genererede og originale pixels bryder illusionen, især ved kraver og sømme.

FAQ

Få svar på dine spørgsmål.

Er inpainting det samme som content-aware fill (indholdsbaseret udfyldning)?↓

Samme grundidé, men forskellige evner. Indholdsbaseret udfyldning kopierer omgivende teksturer for at skjule et objekt, mens generativ inpainting skaber nyt, semantisk korrekt indhold – som f.eks. et stykke tøj, der slet ikke var på billedet til at starte med.