Image Inpainting

Was ist Image Inpainting?

Image Inpainting ist eine Technik aus dem Bereich Computer Vision, bei der ein ausgewählter Bereich eines Bildes rekonstruiert oder ersetzt wird, während der Rest unangetastet bleibt. Ursprünglich zur Restaurierung beschädigter Fotos und zur Entfernung von Objekten entwickelt, wird es heute meist von Diffusionsmodellen übernommen, die den maskierten Bereich mit neuen, kontextabhängigen Inhalten füllen.

Beim Virtual Try-On beschränkt Inpainting die Generierung auf den Bereich der Kleidung: Gesicht, Haare und Hintergrund des Originalfotos bleiben pixelgenau erhalten, und nur die Kleidungsfläche wird neu generiert.

Wie es in einer Try-On-Pipeline funktioniert

1. Maskenerstellung: Die Bildsegmentierung erzeugt eine pixelgenaue Maske des zu ersetzenden Kleidungsstücks.
2. Kontextkodierung: Das Modell analysiert alles außerhalb der Maske: Hautton, Lichtrichtung, Hintergrund.
3. Konditionierte Regeneration: Der maskierte Bereich wird mit dem neuen Kleidungsstück gefüllt, gesteuert durch das Produktbild und die Pose der Person.
4. Blending: Die Ränder der Maske werden weichgezeichnet, sodass der neu generierte Bereich fließend in die erhaltenen Pixel übergeht.

Größte Herausforderungen

• Genauigkeit der Maske: Eine Maske, die einen Ärmel auslässt, lässt das alte Kleidungsstück sichtbar bleiben; eine zu große Maske schneidet Hände oder Haare ab.
• Verdeckung (Occlusion): Haare oder verschränkte Arme vor der Kleidung müssen im Vordergrund bleiben.
• Realistische Übergänge: Sichtbare Nähte zwischen generierten und originalen Pixeln zerstören die Illusion, besonders an Kragen und Säumen.

Eine kurze Geschichte des Inpaintings

Ära	Ansatz	Beispiel
2000er	Diffusionsbasierte PDE-Methoden übertragen umgebende Pixel in kleine Lücken	Teleas Fast-Marching-Methode (2004), verwendet für Kratzer- und Textentfernung
2009 bis 2015	Patch-basierte Synthese kopiert passende Textur-Patches von anderen Stellen im Bild	PatchMatch (2009), die Grundlage von Photoshops Content-Aware Fill (2010)
2018 bis 2021	Deep-Learning-Modelle, trainiert darauf, große Lücken mit plausiblen Strukturen zu füllen	LaMa (2021), stark bei großen Masken und wiederkehrenden Mustern
ab 2022	Generatives Diffusions-Inpainting erstellt neue Inhalte, gesteuert durch Text oder ein Referenzbild	Stable Diffusion und spätere Diffusions-Inpainting-Modelle

Die ersten drei Generationen rekonstruieren, was sich wahrscheinlich hinter der Maske befand. Generatives Inpainting kann dort etwas Neues platzieren, was es für Try-On nutzbar macht: Der maskierte Bereich wird zu einem Kleidungsstück, das im Originalfoto nie vorhanden war.

Inpainting jenseits von Try-On

• Objektentfernung: Das Löschen von Personen, Kabeln oder Logos aus Fotos.
• Fotorestaurierung: Das Füllen von Rissen, Flecken und fehlenden Ecken in gescannten Abzügen.
• Outpainting: Die umgekehrte Operation, bei der ein Bild über seine ursprünglichen Grenzen hinaus erweitert wird.
• Produktfotobearbeitung: Der Austausch von Hintergründen oder die Korrektur von Falten in Aufnahmen von Kleidungsstücken.

Maskenfreie Alternativen

Einige neuere Try-On-Systeme verzichten auf eine explizite Maske: Das Modell erhält das vollständige Foto der Person sowie das Produktbild und entscheidet selbst, welche Pixel geändert werden müssen. Dies vermeidet Maskenfehler (ein übersehener Ärmel, eine abgeschnittene Hand), macht es jedoch schwieriger zu garantieren, dass Gesicht und Hintergrund unangetastet bleiben. Daher kombinieren viele Pipelines weiterhin eine Maske mit einem generativen Modell.

FAQ

Deine Fragen, beantwortet.

Ist Inpainting dasselbe wie inhaltsbasierte Füllung (Content-Aware Fill)?↓

Gleiche Idee, andere Fähigkeiten. Die inhaltsbasierte Füllung kopiert umgebende Texturen, um ein Objekt zu verbergen; generatives Inpainting synthetisiert neue, semantisch korrekte Inhalte, wie beispielsweise ein Kleidungsstück, das nicht auf dem Foto zu sehen war.

Was ist Inpainting in der KI?↓

Bei der KI-Bildgenerierung bedeutet Inpainting, dass ein ausgewählter (maskierter) Teil eines Bildes neu generiert wird, während alles andere erhalten bleibt. Ein Diffusionsmodell füllt die Maske mit neuen Inhalten, die zur Beleuchtung und zum Kontext des restlichen Bildes passen, gesteuert durch einen Text-Prompt oder ein Referenzbild.