Image Inpainting

Was ist Image Inpainting?

Image Inpainting ist eine Technik aus dem Bereich Computer Vision, bei der ein ausgewählter Bereich eines Bildes rekonstruiert oder ersetzt wird, während der Rest unangetastet bleibt. Ursprünglich zur Restaurierung beschädigter Fotos und zum Entfernen von Objekten entwickelt, wird es heute meist von Diffusionsmodellen übernommen, die den maskierten Bereich mit neuen, kontextabhängigen Inhalten füllen.

Beim virtuellen Anprobieren (Virtual Try-On) beschränkt Inpainting die Bildgenerierung auf den Kleidungsbereich: Gesicht, Haare und Hintergrund des Originalfotos bleiben Pixel für Pixel erhalten, und nur der Kleidungsbereich wird neu generiert.

So funktioniert es in einer Try-On-Pipeline

1. Maskenerstellung: Bildsegmentierung erzeugt eine pixelgenaue Maske des zu ersetzenden Kleidungsstücks.
2. Kontext-Analyse: Das Modell analysiert alles außerhalb der Maske: Hautton, Lichteinfall, Hintergrund.
3. Konditionierte Regeneration: Der maskierte Bereich wird mit dem neuen Kleidungsstück gefüllt, geleitet von Produktbild und Pose der Person.
4. Blending: Die Ränder der Maske werden weichgezeichnet, sodass der neu generierte Bereich nahtlos in die erhaltenen Pixel übergeht.

Wichtigste Herausforderungen

• Genauigkeit der Maske: Eine Maske, die einen Ärmel auslässt, lässt das alte Kleidungsstück sichtbar; eine zu große Maske beschneidet Hände oder Haare.
• Verdeckung (Occlusion): Haare oder verschränkte Arme vor der Kleidung müssen im Vordergrund bleiben.
• Realistische Übergänge: Sichtbare Nähte zwischen generierten und originalen Pixeln zerstören die Illusion, insbesondere an Kragen und Säumen.

FAQ

Deine Fragen, beantwortet.

Ist Inpainting dasselbe wie inhaltssensitives Füllen?↓

Gleiche Idee, andere Fähigkeiten. Inhaltssensitives Füllen (Content-Aware Fill) kopiert umgebende Texturen, um ein Objekt zu verbergen; generatives Inpainting synthetisiert neue, semantisch korrekte Inhalte, wie zum Beispiel ein Kleidungsstück, das nicht auf dem Foto war.