Окклюзия

Что такое окклюзия?

Окклюзия (или перекрытие) возникает, когда объект, расположенный ближе к зрителю, закрывает собой то, что находится позади него. В виртуальной примерке и дополненной реальности правильная обработка окклюзии означает рендеринг виртуальных товаров с учетом реальной глубины сцены: если рука находится перед рубашкой, она должна оставаться и перед виртуальной рубашкой.

Если окклюзия не срабатывает, виртуальная вещь кажется нарисованной поверх всего остального. Кольцо перекрывает палец, который должен скрывать его заднюю часть, или сгенерированная куртка накладывается прямо на волосы, которые в реальности падали бы на нее. Это один из самых явных признаков того, что изображение ненастоящее.

Частые причины перекрытия при примерке

• Волосы, падающие на плечи и воротник
• Руки, скрещенные перед туловищем
• Аксессуары, такие как сумки, шарфы или украшения, надетые поверх одежды
• Другая одежда, например, распахнутая куртка, частично закрывающая топ под ней

Как это работает

В живом AR порядок глубины определяется отслеживанием рук и тела в реальном времени, а также оценкой глубины сцены. В конвейерах на основе изображений сегментация изображений определяет перекрывающие элементы, чтобы инпеинтинг воссоздал одежду за ними. Перекрывающие объекты исключаются из маски и переносятся из оригинальной фотографии без изменений.

FAQ

Ответы на вопросы.

Почему обрабатывать окклюзию для одежды сложнее, чем для твердых предметов?↓

У твердых предметов вроде очков есть предсказуемые зоны перекрытия (уши, нос) с известным расположением. Одежда же покрывает большие, меняющие форму участки, где волосы, руки и слои других вещей могут накладываться где угодно. Поэтому маску окклюзии приходится рассчитывать заново для каждого изображения.