Инпейтинг изображений

Что такое инпейтинг изображений?

Инпейтинг изображений — это метод компьютерного зрения, который восстанавливает или заменяет выбранную область изображения, оставляя остальную часть нетронутой. Изначально он применялся для реставрации поврежденных фотографий и удаления лишних объектов, но сегодня чаще всего выполняется диффузионными моделями, которые заполняют замаскированную область новым, контекстно-зависимым содержимым.

В виртуальных примерочных инпейтинг ограничивает генерацию только областью одежды: лицо, волосы и фон оригинальной фотографии сохраняются пиксель в пиксель, а перерисовывается только сам предмет гардероба.

Как это работает в пайплайне примерки

1. Создание маски: сегментация изображения создает пиксельно-точную маску одежды, которую нужно заменить.
2. Кодирование контекста: модель анализирует все, что находится за пределами маски: тон кожи, направление освещения, фон.
3. Обусловленная регенерация: замаскированная область заполняется новой одеждой с учетом изображения товара и позы человека.
4. Смешивание: края маски растушевываются, чтобы сгенерированная область плавно переходила в сохраненные пиксели.

Основные сложности

• Точность маски: если маска пропустит рукав, старая одежда останется видимой; слишком большая маска заденет руки или волосы.
• Окклюзия: волосы или скрещенные руки перед одеждой должны оставаться на переднем плане.
• Реалистичность границ: видимые стыки между сгенерированными и оригинальными пикселями разрушают иллюзию, особенно на воротниках и подолах.

FAQ

Ответы на вопросы.

Инпейтинг — это то же самое, что и заливка с учетом содержимого?↓

Идея та же, но возможности разные. Заливка с учетом содержимого (Content-aware fill) просто копирует окружающие текстуры, чтобы скрыть объект; генеративный инпейтинг синтезирует новый, семантически правильный контент — например, одежду, которой вообще не было на фото.