拡散モデル
徐々にノイズを加えるプロセスを逆転させることを学習し、画像を生成する生成AIアーキテクチャ。
拡散モデルとは？
拡散モデル（Diffusion model）は、ノイズを加えるプロセスを逆転させることを学習して画像を生成する生成AIアーキテクチャです。トレーニング中、画像はランダムなノイズによって徐々に破壊され、モデルは各ステップを元に戻す方法を学習します。生成時には、純粋なノイズから始まり、テキストプロンプトや参照画像、あるいはその両方に導かれながら、ステップバイステップでノイズを除去して新しい画像を生成します。
拡散モデルは、画像ベースのバーチャル試着に使用される衣服転送システムを含む、最新の画像生成モデルの大部分の基盤となっています。
仕組み
- 順方向プロセス（トレーニング）: 完全にノイズだけになるまで、多数の小さなステップで実際の画像にノイズが追加されます。
- 学習された逆方向プロセス: モデルは、各ステップで1つ前のノイズが少ない状態を予測するようにトレーニングされます。
- 生成: ランダムなノイズから開始し、一貫した画像が現れるまで、学習したノイズ除去が繰り返し（通常20〜50ステップ）適用されます。
- 条件付け: 各ステップで、衣服の画像、体のポーズ、塗り直す領域のマスクなどの入力によってモデルを制御できます。
バーチャル試着における役割
条件付けこそが、一般的な画像生成モデルを試着エンジンに変える要素です。人物の写真、衣服の写真、衣服のマスクが与えられると、モデルは元の写真と一致する生地の質感、シワ、照明を使用して、マスクされた領域（画像インペインティングを参照）のみを再生成します。
このトレードオフは速度です。生成には数秒かかり、GPU計算が必要となるため、拡散ベースの試着では、ライブビデオのオーバーレイではなく静止画像が生成されます。
FAQ
疑問にお答えします。
なぜ試着において拡散モデルはGANに取って代わったのですか？↓
初期の試着の研究ではGANが使用されていましたが、拡散モデルの方がトレーニングが安定しており、条件付けによる制御が容易で、細かいテクスチャの再現に優れていることがわかりました。これらはすべて衣服にとって重要です。
関連用語
- 画像インペインティング
- 画像の特定のマスク領域を再生成し、その他の部分は元の状態のまま維持する画像処理技術のこと。
- 衣服転送 (Garment Transfer)
- 製品写真の衣服を人物画像にレンダリングするAIプロセス。