問題
写真の「主要な被写体」を特定するという人間にとっては単純なことでも、コンピューターにとっては驚くほど複雑です。画像は単なる色付きピクセルのグリッドです。 「このピクセルはその人物である」「このピクセルは背後の壁である」という固有のラベルはありません。
従来のアプローチでは、色のしきい値処理 (特定の色のすべてのピクセルを削除) やエッジ検出 (オブジェクト間の境界を見つける) などの技術が使用されていました。これらは単純な場合には機能しましたが、複雑なシーン、被写体と背景の類似した色、または複雑な詳細では失敗しました。
機械学習への参入
最新の AI 背景除去では、深層学習、特に画像セグメンテーション モデルが使用されます。仕組みの簡略版は次のとおりです。
1. トレーニング
ニューラル ネットワークには、被写体がすでに手動で識別 (ラベル付け) されている数百万枚の画像が表示されます。時間の経過とともに、モデルは、人々がどのように見えるか、物体がどのように形づくられるか、被写体と背景がどのように異なるかなどのパターンを学習します。エッジ、テクスチャ、コンテキストを認識することを学習します。
2. 推論（モデルの使用）
トレーニングされたモデルに、これまでに見たことのない新しい画像を与えると、ピクセル データが分析され、「マスク」が生成されます。これは、各ピクセルに前景 (被写体) または背景である確率を割り当てるマップです。信頼性の高い前景ピクセルが保持されます。信頼性の高い背景ピクセルは削除されます。
3. エッジ処理
前景と背景の間の移行は非常に重要です。最新のモデルは、ハード バイナリ カットではなく、ソフト エッジ (部分透明) を生成します。これにより、特に複雑なエッジの周囲で自然な外観の結果が得られます。
GPU が重要な理由
ニューラル ネットワークは、何千もの数学的演算を通じて同時に画像を処理します。 GPU (グラフィックス プロセッシング ユニット) は、まさにこの種の並列計算用に設計されています。 CPU では 30 秒かかるタスクも、GPU では 2 ～ 3 秒で完了します。
これが、QuickRemove などのツールが NVIDIA、AMD、Intel GPU の GPU アクセラレーションをサポートする理由です。 AI モデルは GPU 上で直接実行され、高速に処理されます。互換性のある GPU が利用できない場合、ソフトウェアは CPU 処理に戻ります。それでも動作しますが、時間がかかるだけです。
AIが得意なこと
- 人物とポートレート — これは最も一般的な使用例であり、モデルはこれについて十分なトレーニングを受けています
- 動物とペット — モデルは毛皮と動物の形状をうまく処理します
- 製品とオブジェクト — 明確な境界を持つ、明確に定義されたオブジェクト
- 車両 — 車、バイク、および類似の物体
- 複雑な背景 — AI は被写体を複雑で詳細な背景から分離できます。
AI の課題
- 透明なオブジェクト — ガラス、水、その他の透明なマテリアルは扱いが難しい (QuickRemove にはこれに対する特別な処理が含まれています)
- 色の類似性 — 被写体と背景の色が非常に似ている場合、境界線を検出するのが難しくなります。
- 非常に複雑なシーン - 複数の重なり合う被写体、または曖昧な前景/背景
後処理
AI が初期マスクを生成した後、後処理によって結果が調整されます。 QuickRemove のようなツールは次のことを提供します。
- エッジのフェザリング — 被写体と背景の間の移行を柔らかくします。
- スムージング — ギザギザのエッジを軽減します
- カラーデコンタミネーション — 元の背景色が被写体の端ににじみ出る色の流出を除去します。
- 手動ブラシ/消しゴム - AI が見逃してしまう可能性のある細かい修正用
結論
AI による背景除去は、プロ品質の結果を数秒で生成できるレベルに達しました。すべてのシナリオで完璧というわけではありませんが、一般的なユースケースの大部分を驚くほど正確に処理できるため、Photoshop の専門家だけでなく誰でも背景の削除にアクセスできるようになります。