オクルージョン

オクルージョンとは？

オクルージョンとは、手前にある物体が背後にある物体の一部を隠す現象のことです。バーチャル試着や拡張現実（AR）においてオクルージョンを処理するということは、現実の風景に対して正しい奥行き（深度）でバーチャルな商品をレンダリングすることを意味します。つまり、シャツの手前にある手は、「バーチャルな」シャツの手前にも表示されなければなりません。

オクルージョン処理が不十分だと、バーチャルアイテムがすべての上に「貼り付けられた」ように見えてしまいます。本来なら指の後ろに隠れるはずのリングの裏側が見えたり、肩にかかる髪の毛の上にジャケットが描画されたりする状態です。これは、その画像が合成であると一目でバレてしまう最大の要因となります。

バーチャル試着で手前にきやすい要素（オクルーダー）

• 髪の毛（肩や襟元にかかる部分）
• 手や腕（体の前で交差している場合など）
• アクセサリー（服の上から身につけるバッグ、スカーフ、ジュエリーなど）
• 重ね着している服（インナーの一部を隠す前開きのジャケットなど）

オクルージョンの処理方法

ライブARでは、リアルタイムの手や体のトラッキングと、空間の深度推定を組み合わせることで奥行きの順序を判断します。画像ベースの処理では、画像セグメンテーションによって手前にある要素を特定し、インペインティング技術でその「背後」にある服を再生成します。手前にある要素はマスク領域から除外され、元の写真の状態がそのまま保持されます。

FAQ

疑問にお答えします。

服のオクルージョン処理が、メガネのような固定アイテムよりも難しいのはなぜですか？↓

メガネのような形状が固定されたアイテムは、耳や鼻など、隠れる場所（オクルーダー）が予測しやすく位置も決まっています。一方、服は広範囲で形が変わりやすく、髪や手、重ね着などがあらゆる場所で重なる可能性があるため、画像ごとにオクルージョンマスクを計算する必要があるからです。