1台の
単眼3D・姿勢推定
まず答え
1台のカメラでは3次元の動きを2次元画像へ投影した時点で奥行き情報の一部が失われるためです。同じように見える2次元の関節配置でも、奥行きが異なる複数の3次元姿勢が成り立ちます。AIは身体寸法や学習済みの姿勢、前後フレームなどから奥行きを推定しますが、速いゴルフスイングや身体の重なりでは誤差が残りやすくなります。
詳しい解説
カメラ画像は、左右・上下に加えて本来は奥行きを持つ3次元空間を、平面の2次元画像へ写したものです。1台の通常カメラでは、画面上の関節位置は観測できても、その関節がカメラから何m離れているかを直接測っているわけではありません。そのため、異なる3次元姿勢がほぼ同じ2次元骨格として写る「奥行きの曖昧さ」が生じます。
単眼3D姿勢推定の研究では、この2Dから3Dへ持ち上げる過程の曖昧さが主要な課題として扱われています。NieらのICCV 2017研究も、単眼画像から3D人体姿勢を推定する最大の難しさの一つとしてこの曖昧さを挙げ、2次元関節位置と画像情報から各関節の奥行きを推定する方法を提案しました。つまり、奥行きは画面からそのまま読める値ではなく、モデルが推定して補う値です。
ゴルフでは条件がさらに厳しくなります。Ingwersenらは、単眼3D人体姿勢推定モデルをゴルフスイングに適用し、マーカー式モーションキャプチャを基準に比較しました。推定した3D姿勢を再び画像へ投影すると見た目にはもっともらしく見える一方、3D関節位置を定量比較すると、詳細な運動学解析へそのまま使うには大きすぎる誤差が確認されました。速い動きや身体部位の重なりがあるゴルフでは、2Dで自然に見えることと3D座標が正しいことは同じではありません。
誤差は奥行きだけで決まるわけではありません。カメラ角度、レンズ、身体の隠れ、フレームレート、学習データに似た姿勢が含まれているかなどでも変わります。また、動画を使う方式では前後フレームの連続性を利用して曖昧さを減らせますが、1台の映像だけから絶対的な3D位置を完全に確定できるわけではありません。
実用上、単眼3D解析は大きな動作傾向や同じ撮影条件での比較には使える場合がありますが、数度・数cm単位の関節位置を基準値として扱う前には検証が必要です。精密な3D解析が目的なら、複数カメラ、深度センサー、マーカー式モーションキャプチャなど、奥行きを別の観測から拘束できる方法との比較が有効です。