Інпеінтинг зображень (Inpainting)

Що таке інпеінтинг?

Інпеінтинг зображень (image inpainting) — це метод комп'ютерного зору, який реконструює або замінює виділену ділянку зображення, залишаючи решту недоторканою. Спочатку він використовувався для реставрації пошкоджених фотографій та видалення об'єктів, а тепер його зазвичай виконують дифузійні моделі, які заповнюють замасковану ділянку новим контентом з урахуванням контексту.

У віртуальній примірці інпеінтинг обмежує генерацію ділянкою одягу: обличчя, волосся та фон оригінального фото зберігаються піксель у піксель, а генерується лише зона вбрання.

Як це працює у процесі примірки

1. Створення маски: сегментація зображення створює піксельно-точну маску одягу, який потрібно замінити.
2. Кодування контексту: модель аналізує все, що знаходиться за межами маски: тон шкіри, напрямок освітлення, фон.
3. Обумовлена регенерація: замаскована ділянка заповнюється новим одягом, керуючись зображенням товару та позою людини.
4. Змішування (Blending): краї маски розтушовуються, щоб згенерована ділянка плавно переходила у збережені пікселі.

Основні виклики

• Точність маски: маска, яка пропускає рукав, залишає видимим старий одяг; занадто велика маска затирає руки або волосся.
• Оклюзія (Перекриття): волосся або схрещені руки перед одягом повинні залишатися на передньому плані.
• Реалістичність меж: видимі шви між згенерованими та оригінальними пікселями руйнують ілюзію, особливо на комірах і подолах.

FAQ

Відповіді на запитання.

Чи є інпеінтинг тим самим, що й заливка з урахуванням вмісту (content-aware fill)?↓

Ідея та сама, можливості різні. Заливка з урахуванням вмісту копіює навколишні текстури, щоб приховати об'єкт; генеративний інпеінтинг створює новий, семантично правильний контент, наприклад, одяг, якого не було на фото.